[人工智能]深度学习-权重衰减+丢弃法

这里重点介绍正则化模型技术。对于过拟合的情况，我们可以通过搜集更多的训练数据来缓解过拟合，但是成本过高。在已经拥有尽可能多的高质量数据的情况下，我们就可以将重点放在正则化技术上。

权重衰减

权重衰减是使用最广泛的正则化技术之一，也成为L2正则化。

正则项权重是控制模型复杂度的超参数。

丢弃法

一个好的模型需要对输入数据的扰动鲁棒，丢弃法就是在层之间加入噪音。

总结：?

丢弃法将一些输出项随机置零来控制模型的复杂度

通常是作用在多层感知机的隐藏输出上

丢弃概率是控制模型复杂度的超参数