[人工智能]每天五分钟机器学习：逻辑回归算法的损失函数为什么是凸函数？

本文重点

本文将从数学角度来介绍一下，为什么逻辑回归算法的损失函数我们不使用平方差的形式，而是使用交叉损失函数？

如果使用平方差

我们前面学习了逻辑回归算法，我们并且知道了逻辑回归算法的损失函数为什么不使用平方差，主要原因就是如果使用平方差那么逻辑回归的损失函数就不是凸函数，那么就会有很多的局部最小值，那么就很难找到局部最优。

我们要想验证一个函数是否是凸函数，我们可以对其进行二次求导，如果其≥0，那么我们就可以认为这个函数就是凸函数。

我们发现我们不能判断这二次求导的正负，所以我们认为它不是一个凸函数，既然不是凸函数，那么就会有很多局部最小值，那么我们再优化的时候，使用梯度下降算法的时候，将很难找到全局最小值，所以我们不使用平方和损失作为逻辑回归的损失函数。

交叉熵损失函数

我们使用此时的损失L来进行二次求导

了解本专栏 订阅专栏 解锁全文 超级会员免费看