|
过拟合：
过拟合概念
过拟合是指学习的模型包含的参数太对，以至于出现对已知数据预测的很好，但对未知数据预测的很差的现象；模型过拟合等价于模型泛化能力差。
1.加入正则项
L1正则化是指权值向量中各个元素的绝对值之和，L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以反之过拟合
L2化是指权值向量中各个元素的平方和的平方，L2正则化可以防止模型过拟合。
参考：https://blog.csdn.net/weixin_42111770/article/details/82703509
2.dropout
3. early stopping
4. 数据集扩增
5. 改进模型
6. 多任务学习
欠拟合：
1.增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间
2.添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强
3.减少正则化参数，正则化的目的是用来防止过拟合的，但是模型出现了欠拟合，则需要减少正则化参数
4.使用非线性模型，比如核SVM 、决策树、深度学习等模型
5.调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力
6.容量低的模型可能很难拟合训练集；使用集成学习方法，如Bagging ,将多个弱学习器Bagging
全文参考：https://www.cnblogs.com/zhhfan/p/10476761.html
|