[人工智能]每天五分钟机器学习：如何通过梯度下降的图像来找到最优的学习率

梯度下降算法

梯度下降算法所做的事情就是为了找到一个θ值，只要找到这个θ值，那么假设函数就搞定了，也就是说我们的模型也就有了。

收敛次数

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛，也就是说画出一条我们梯度下降时损失函数的图像。

我们每次运行梯度下降算法，J(θ)就会变得越来越小，它的图像为：

如图所示，可以看出来随着步数的增长，损失越来越小。当运行到300到400次梯度下降的时候，我们的损失函数J(θ)变化已经不大了，可以判断梯度下降算法已经收敛了。

或者我们可以设定阈值，当两次下降J(θ)的变化值小于（0.005）的时候，那么就可以认为是收敛了。

了解本专栏 订阅专栏 解锁全文 学习会员免费看 赠一年