文章目录
第二周 优化算法
2.1 Mini-batch 梯度下降
把样本再分为小批量的样本，在梯度下降时，用这小批量的样本的梯度代替整体梯度进行梯度下降的方法。
这样，我们得到的cost function随着迭代进行的曲线并不是一直下降，而是波动下降。
当mini-batch的大小为1，我们就得到了随机梯度下降算法（Stochastic Gradient Descent）。
2.2 指数加权平均数 Exponentially weighted averages
直接给出公式：
v t = β v t ? 1 + ( 1 ? β ) θ t v_t=\beta v_{t-1}+(1-\beta)\theta_t vt?=βvt?1?+(1?β)θt?，其中 θ \theta θ 是原数据，v是经过计算后的数据。
本质就是以指数式递减加权的移动平均。各数值的加权而随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。
2.3 指数加权平均数的修正
计算移动平均数的时候，初始化𝑣0 = 0，𝑣1 = 0.98𝑣0 + 0.02𝜃1，但是𝑣0 = 0，所以这部 分没有了(0.98𝑣0)，所以𝑣1 = 0.02𝜃1，所以如果一天温度是 40 华氏度，那么𝑣1 = 0.02𝜃1 = 0.02 × 40 = 8，因此得到的值会小很多，所以第一天温度的估测不准。
有个办法可以修改这一估测，让估测变得更好，更准确，用 v t ′ = v t 1 ? β t v_t^\prime = \frac{v_t}{1-\beta^t} vt′?=1?βtvt?? ，t 就是现在的天数。相当于给原来的vt乘上一个大于1的数修正。
在机器学习中，在计算指数加权平均数的大部分时候，大家不在乎执行偏差修正，因为 大部分人宁愿熬过初始时期，拿到具有偏差的估测，然后继续计算下去。如果你关心初始时 期的偏差，在刚开始计算指数加权移动平均数的时候，偏差修正能帮助你在早期获取更好的 估测。
2.4 动量梯度下降法 Gradient descent with Momentum
动量梯度下降法就是将指数加权平均用到梯度下降的过程。
在上图中你会发现，纵轴的摆动很大，但平均值为0；横轴的摆动很小，都指向中心方向。
如果我们对历史梯度进行加权平均，我们就能一定程度上消除纵轴摆动过大的缺点，加快横轴的运动。
2.6 RMSprop 算法
root mean square prop 均方根传播算法
我的理解：平方加剧了方向上的摆动。最后梯度更新时，再除以方根，结果就是摆动大的维度除以一个较大的数，消除了影响。
要说明一点，我一直把纵轴和横轴方向分别称为𝑏和𝑊，只是为了方便展示而已。实际中，你会处于参数的高维度空间，所以需要消除摆动的垂直维度，你需要消除摆动，实际上是参数𝑊 ，𝑊 等的合集，水平维度可能𝑊 ，𝑊 等等，因此把𝑊和𝑏分开只是方便说明。
实际中𝑑𝑊是一个高维度的参数向量，𝑑𝑏也是一个高维度参数向量，但是你的直觉是，在你要消除摆动的维度中，最终你要计算一个更大的和值，这个平方和微分的加权平均值，所以你最后去掉了那些有摆动的方向。所以这就是 RMSprop，全称是均方根，因为你将微分进行平方，然后最后使用平方根。
2.7 Adam 优化算法 Adaptive Moment Estimation
Adam 算法结合了 Momentum 和 RMSprop 梯度下降法，并且是一种极其常用的学 习算法，被证明能有效适用于不同神经网络，适用于广泛的结构。
2.8 学习率衰减
你可以将学习率设置为 $a=\frac{1}{1+decay_rate\times epoch_num}a_0 $ ，其中 decay_rate是衰减率，epoch_num是代数，a0是初始学习率。这个衰减率是另外一个你需要调整的超参数。
还有许多其他 学习率衰减公式。
2.9 局部最优问题
在神经网络优化中，我们遇到的局部最优往往都是鞍点。
我们从深度学习历史中学到的一课就是，我们对低维度空间的大部分直觉，比如你 可以画出上面的图，并不能应用到高维度空间中
首先，你不太可能困在极差的局部最优中，条件是你在训练较大的神经网络，存在大量参数，并且成本函数𝐽被定义在较高的维度空间。
第二点，平稳段是一个问题，这样使得学习十分缓慢，这也是像 Momentum 或是 RMSprop，Adam 这样的算法，能够加速学习算法的地方。在这些情况下，更成熟的优化算法，如 Adam 算法，能够加快速度，让你尽早往下走出平稳段。