- 回归问题和分类问题的联系和区别、如何利用回归解决分类问题
- 为什么分类问题的损失函数可以是交叉熵而不是均方误差
- 线性判别分析和逻辑回归在估计参数方面有何异同
- 二次判别分析，线性判别分析，朴素贝叶斯之间的联系和区别
- python+numpy实现逻辑回归
1 都是对输入的数据进行预测。输出不同，分类输出的是离散值，回归是连续值
2 先看两者公式：
最小均方误差，MSE（Mean Squared Error）Loss
L_{mse} = \frac{1}{2}(a - y)^2
交叉熵误差CEE（Cross Entropy Error）Loss
L_{cee} = -(y*ln(a) + (1-y)*ln(1-a))
看下这两个Loss function对w的导数，也就是SGD梯度下降时，w的梯度。
sigmoid \sigma^{’}(z) 在输出接近 0 和 1 的时候是非常小的，故导致在使用最小均方差Loss时，模型参数w会学习的非常慢。而使用交叉熵Loss则没有这个问题。为了更快的学习速度，分类问题一般采用交叉熵损失函数。
3 线性回归的参数计算方法是最小二乘法，逻辑回归的参数计算方法是梯度下降
4 朴素贝叶斯：对线性回归分类的简化
在线性判别分析中，我们假设每种分类类别下的特征遵循同一个协方差矩阵，每两个特征之间是存在协方差的，因此在线性判别分析中各种特征是不是独立的。但是，朴素贝叶斯算法对线性判别分析作进一步的模型简化，它将线性判别分析中的协方差矩阵中的协方差全部变成0，只保留各自特征的方差，也就是朴素贝叶斯假设各个特征之间是不相关的。在之前所看到的偏差-方差理论中，我们知道模型的简化可以带来方差的减少但是增加偏差，因此朴素贝叶斯也不例外，它比线性判别分析模型的方差小，偏差大。
|