[Python知识库]【sklearn学习】逻辑回归

逻辑回归的优点：

1. 使用于分类问题中的回归算法
2. 逻辑回归对线性关系的拟合效果好
3. 逻辑回归计算快
4. 逻辑回归返回的分类结果不固定，而是以小数的形式呈现的类概率数字
5. 逻辑回归有抗噪能力强的特点，在小数据集上表现较好

sklearn.linear_model.LogisticRegression

class?sklearn.linear_model.LogisticRegression(penalty='l2',?*,?dual=False,?tol=0.0001,?C=1.0,?fit_intercept=True,?intercept_scaling=1,?class_weight=None,?random_state=None,?solver='lbfgs',?max_iter=100,?multi_class='auto',?verbose=0,?warm_start=False,?n_jobs=None,?l1_ratio=None)

使用损失函数衡量参数为θ的模型拟合训练集时产生的信息损失的大小，并以此衡量参数θ的优劣

在模型拟合过程中，让损失函数最小化的参数组合

正则化用来防止模型过拟合，常用的有L1正则化和L2正则化

L1范式表示每个参数的绝对值之和

L2范式表示为参数向量中的每个参数的平方和的开方值

L1正则化会将参数压缩到0，L2正则化只会让参数尽量小，不会取到0

>>> from sklearn.datasets import load_iris
>>> from sklearn.linear_model import LogisticRegression
>>> X, y = load_iris(return_X_y=True)
>>> clf = LogisticRegression(random_state=0).fit(X, y)
>>> clf.predict(X[:2, :])
array([0, 0])
>>> clf.predict_proba(X[:2, :])
array([[9.8...e-01, 1.8...e-02, 1.4...e-08],
       [9.7...e-01, 2.8...e-02, ...e-08]])
>>> clf.score(X, y)
0.97...

对于线性回归，多重共线性会有影响，需要使用方差过滤和方差膨胀因子VIF消除共线性

多元逻辑回归

• multi_class

'ovr'表示分类问题是二分类

'multinomial'表示处理多分类

’auto'根据数据的分类情况自动确定分类类型

• solver

'liblinear':坐标下降法

‘lbfgs':拟牛顿法

’newton-cg'：牛顿法的一种，海森矩阵优化迭代损失函数

'sag':随机平均梯度下降

’saga'

样本不平衡与参数class_weight

通过重复样本方式平衡类别