权重衰退
是最广泛使用的正则化的技术之一。
使用均方范数作为硬性限制
通过限制参数值的选择范围来控制模型容量。
?通常不限制偏移b（因为限制与不限制的差别不大）。
小的θ意味着更强的正则项。
使用均方范数作为柔性限制
对于每个θ，都可以找到λ使得之前的目标函数等价于下面
可以通过拉格朗日乘子来证明。
超参数λ控制了正则项的重要程度。
λ=0：无作用。
λ->是?，w*->0。
参数更新法则
- 计算梯度
- 时间t更新参数
通常在下ηλ <1，在深度学习中通常叫做权重衰退。
?总结
- 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度。
- 正则项权重是控制模型复杂度的超参数。
?Dropout(丢弃法)
会比上述的权重衰退效果更好一些。
动机
一个好的模型需要对输入数据的扰动鲁棒。
使用有噪音的数据等价于Tikhonov正则。
丢弃法：在层之间加入噪音。（随机噪音）
无偏差的加入噪音
对x加入噪音得到x'，我们希望
丢弃法对每个元素进行如下扰动
?
?使用丢弃法
通常将丢弃法作用在隐藏全连接层的输出上。
?
?推理中的丢弃法
正则项只在训练中使用：他们影响模型参数的更新。
在推理过程中，丢弃法直接返回输入。
这样也 保证确定性的输出。
总结
- ?丢弃法将一些输出项随机置0来控制模型复杂度。
- 常作用在多层感知机的隐藏层输出上。
- 丢弃概率是控制模型复杂度的超参数。
?