gradient小的具体情况
在Optimization的过程中，可能会出现gradient趋近于0，Loss仍然不够低且几乎不变化的情况。
在gradient趋近于0的点称为critical point（临界点）
出现这种现象一般有两种情况：
（1）local minima
local minima是在当前范围中处于Loss处于最低点
（2）saddle point
Loss可增大，亦可减小，取决于走的方向
如何判断critical point的类别？
运用数学知识解决：
在critical point处，gradient 趋近于0，L(θ) 约等于上图红色部分。
红色部分因此决定了此临界点的特性。
将(θ - θ’)用v表示，计算L(θ)结果有如下三种情况:
（1）H > 0 = 特征值为正
该临界点为Local minima
（2）H < 0 = 特征值为负
该临界点为Local maxima
（3）存在H > 0且存在H < 0 = 正负特征值都存在
该临界点为Saddle point
Saddle point
μ为H的特征向量
λ为u的特征值
则得：Hμ = λμ
在L(θ) = L(θ’) + 1/2(θ-θ’)T * H * (θ - θ’)中，假设θ-θ’ = u
则可得到下图方程式
||u||2> 0，则上式正负取决于λ
λ为u的特征值
当u = θ-θ’，即θ = θ’ + u 时，θ’只要沿着u的方向update能得到θ，就可以让Loss变小。
哪种情况更多？
若只是看二维图，我们可能无法发现Loss还能减小，则会有很多local minima的情况，但随着参数增加，即在更高的维度空间中，我们本以为的local minima更有可能只是saddle point。