[人工智能]深度学习 -- gradient descent(梯度下降)

gradient descent(梯度下降) ： 每次找当前点的切线方向，不断接近最低点

• ▽表示求梯度（求导）

我们期望学习率开始时大，一定迭代次数后变小，因此可用下图中红点上的公式，使得学习率和迭代次数挂钩

不光要考虑一次微分的值，二次微分的值也应当考虑，因此最佳的是用一次微分除以二次微分的值（多个参数的二次微分值不同）


特征规模：当x大时，对应的w参数相对小，使得每个wx尽量为同一规模，这样loss表示成圆形，每次梯度无论从什么方向都可以快速到达最优解

方法：

数学（梯度下降）：

基于泰勒公式

注：梯度下降最快的方向一般为导数的反方向