[人工智能] 权重衰退问题

权重衰退是最常用的处理过拟合的一种方法

如何控制模型的容量，1. 参数个数，2. 参数值的范围。

权重衰退就是通过控制值的范围来控制模型容量。

硬性限制：

优化最小化的损失函数。L（w,b） L指的是损失函数， w（权重）和b（偏移）分别代表参数

同时加入一个限制，subject to 使得w每个项的平方和小于等于一个值 $\theta$ 。

可以保证w的每个值不会太大。

使用均方范数作为柔性限制。

柔性限制：

通过将损失函数里的限制条件去掉，但是增加了一个阀 $\lambda /2*\left \| w \right \|^2$

当 $\lambda$ =0 的时候相当于上面的 $\theta$ 也设置的无穷大。

当 $\lambda \rightarrow \infty$ 的时候，相当于 $\theta$ 设为了0，使得最优解 $w \ast$ 也最终变成了0。

?如果要把模型的复杂度控制的比较低，可以通过增加 $\lambda$ 来满足需求?。

演示对最优解的影响

?总结：

加:2022-01-24 10:50:21 更:2022-01-24 10:53:25

-2024/5/19 7:06:03-

网站联系: qq:121756557 email:121756557@qq.com IT数码