目录
5.1 模型选择
5.1.1 训练误差和泛化误差
1、训练误差：模型在训练集（train）上的误差
2、泛化误差：模型在新数据集（测试集test）上的误差
3、在训练集上表现好不代表能在测试集上表现好
4、真正意义上的测试数据集是一套与训练数据集完全不相同的数据集，我们在实际操作中，测试数据集更多指的是验证数据集（例如拿出50%的训练数据做验证）。
5.1.2 K-折交叉验证
1、在没有足够多数据时使用（常用）
2、算法：
?其中k值常取5或10
5.2 过拟合和欠拟合
1、定义：下图可以比较直观的看出过拟合与欠拟合的定义，蓝色的点代表数据，左图是欠拟合，右图是过拟合。
正常train和test的损失会不断接近，欠拟合是两者的损失差值不怎么变化，过拟合是二者差值先变小然后变大或者一直变大 。
图中epoch指迭代周期（使用梯度下降法完成一次参数更新，称为一次迭代，多次迭代去趋于最优解），这个知识在之前写的博客【动手学习深度学习】3线性神经网络_sumshine_的博客-CSDN博客?3.1.1.4.?随机梯度下降 中有我自己可以理解的解释。
?2、模型容量与数据间的关系
（1）模型容量也可以理解为模型复杂度，一般来说变量越多的模型，越复杂
（2）低容量的模型难以拟合训练数据
（3）高容量的模型可以记住所有的训练数据
模型容量与数据间的拟合如下图所示：
?3、模型容量的影响
?4、估计模型容量
（1）难以在不同的种类算法之间比较，例如树模型与神经网络
（2）一个给定的模型，容量影响的因素为：参数个数、参数值的选择范围
?5、VC维——统计学习理论的一个核心思想
对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类。
6、数据复杂度
5.3 权值衰退
? ? ? ? ? ? ? ? ? ? ? ? ? ? ——处理过拟合的方法
简单理解权值衰退就是使限制w的值，使曲线平滑
1、使用均方范数作为柔性限制（罚）
?
就是说，l2正则项会对大数值的权值进行惩罚，鼓励权值分散，将所有额特征运用起来，而不是依赖其中的少数特征
其中：绿线是损失函数的取值, 黄线是惩罚项的取值, 两者都是圈越大取值越大
可以看出引入惩罚项之后最优解变化了
2、参数更新法则
总结：
权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
正则项权重是控制模型复杂度的超参数
3、代码实现
torch.optim.SGD([
{"params":net[0].weight,'weight_decay': wd},
{"params":net[0].bias}], lr=lr)
其实就是指定weight_decay这个参数（这个英文单词的意思就是重量衰减）
老师课上讲的经验：一般取e^-1 e^-2 e^-3? 没效果就算了，换其他的方法