上一章我们讲到，在做回归的时候，要对损失函数利用梯度下降的方法来求得最佳的参数以确定模型，本章将详细介绍梯度下降的原理和细节。
先来简单复习一下梯度下降，在求线性模型中的w和b值时，要求loss function尽可能小，于是我们做如下的迭代计算：
{
w
i
+
1
=
w
i
?
η
?
L
?
W
∣
w
=
w
i
,
b
=
b
i
b
i
+
1
=
b
i
?
η
?
L
?
b
∣
w
=
w
i
,
b
=
b
i
\left\{ \begin{array}{l} w_{i+1}=w_i-\eta \frac{\partial L}{\partial W}|_{w=w_i,b=b_i}\\ b_{i+1}=b_i-\eta \frac{\partial L}{\partial b}|_{w=w_i,b=b_i}\\ \end{array} \right.
{wi+1?=wi??η?W?L?∣w=wi?,b=bi??bi+1?=bi??η?b?L?∣w=wi?,b=bi???
其中偏微分前面的常数称为学习率。
下面从几个方面来拆解梯度下降。
1.谨慎调整学习率
拿上图的例子来说，当我们调整学习率时，实际上是在调整每次梯度下降的移动步长。如红色线所示，这是最理想的状况，每次下降一个合适的步长，最终抵达最低点。但是我们不可能总是知道最优的学习率，于是也会出现蓝色线的情况，即调整的学习率偏小了，每次移动步长太短，梯度下降的效率就变慢了。当然也会出现绿色线或黄色线的情况，当学习率偏高时，绿色线直接卡在曲线中间，无法继续下降，而黄色线一开始便远离最低点。
右图展现了当每次参数更新时，loss function的值随着参数更新的变化情况。
● Adagrad算法
Adagrad算法做的工作其实很简单，就是把原来的学习率都除以之前微分的均方根。即：
化简后：
但是这里有一项看似矛盾地方：当微分值，也就是g较大的时候，其下降的步长也较大，同时均方根也偏大，就导致前面学习率/均方根这一项偏小，这又意味着其步长应该较小。。。。怎么理解这件事呢？如下图解释：
我们注意到步长的式子中：分子刚好是y对x的一阶偏导（对于多元函数），分母其实就是二阶偏导，这并非巧合！
所以结论是：最好的步长应该正比于一次微分，反比于二次微分！
2.随机梯度下降法
如上图左边所示：这是采取传统梯度下降法的可视化图，比如这里有20个training data，对于之前的梯度下降算法来说，我们是先对所有数据进行处理，得到损失函数，然后进行梯度下降。而右边的图则是随机梯度下降算法，每次仅计算某一个例子的损失函数，紧接着就梯度下降。这样做的好处是：时间花销与内存花销都大幅度减少，虽然最终的结果相较于批量梯度下降法的结果未必是精确的，但实验表明其结果总是在最优值附近，在很多情况下，这是人为允许的。
3.特征缩放
考虑函数：
y
=
b
+
w
1
x
1
+
w
2
x
2
y=b+w_1x_1+w_2x_2
y=b+w1?x1?+w2?x2?
当x1，x2输入的数据分布范围不同时，建议先将他们的范围缩放。
具体操作如下图：
梯度下降的理论基础
关于这部分，可以用多元泰勒公式进行推导，也可以用高数课本上的方向导数来理解，具体推导在此就不再赘述。