[人工智能]如何通过极大似然估计方法衡量逻辑回归损失函数？

• 如何通过极大似然估计方法衡量逻辑回归损失函数？

  • 逻辑回归模型：

    线性模型只能拟合模型的线性关系，为了能够拟合更多关系，通过添加联系函数的方式，将线性模型拓展为广义线性模型。当对数几率作为联系函数时，这样的广义线性模型称为逻辑回归模型。

  • 逻辑回归公式：

  • 为什么要求解逻辑回归的参数？

    如果数据能够通过逻辑回归模型拟合模型关系，那么只要解出逻辑回归的参数，就能得到x与y之间的关系，从而对新数据推测出对应的y。

  • 如何求解模型参数？

    通过损失函数将数据传递给模型，再通过评估指标反馈模型结果，从而得出参数是否有效，以进一步优化参数；再将数据通过损失函数传递给优化参数后的模型，循环整个过程。

    1. 首先，构建模型的损失函数；如何构建逻辑回归的损失函数呢？

       理想的模型结果为：标签概率相乘最大的情况下的参数，为模型最优参数。

       通过数据证明得知，标签概率相乘的函数为凸函数，所以可以对参数求偏导，令其为0得到关于w、b的参数方程组，通过联立方程组可以求解w和b。

       以上方法可以归纳为更具有一般性的求解方法：极大似然估计方法。

    2. 极大似然法如何如何求解损失函数？

       • 确定似然项，第i个数据对应的似然项为：

       • 当时，则为P1；当时，则为P0；

         

       • 构建似然函数，累乘所有数据：

       • 进行对数转换：用对数转换为累加

         

       • 参数求解：牛顿法（newton-cg），梯度下降法

       ?