[数据结构与算法]逻辑回归：你买车的概率有多大？

一、逻辑回归基础知识

• 解决二元（0/1）分类问题
• $P(y=1|x;\theta )=f(x;\theta )=\frac{1}{1+e^{?{\theta }^{T}x}}$
• $?{\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...$
• $\theta =[{\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3,...]$
• $x=[1,x_1,x_2,x_3,...]$
• 类别为1的概率为：$P=\frac{1}{1+e^{?{\theta }^{T}x}}$
• 类别为0的概率为：$1?P=\frac{1}{1+e^{{\theta }^{T}x}}$
• 类别1与类别0的概率比值：$\frac{P}{1?P}=e^{{\theta }^{T}x}$
• 类别1与类别0的概率比值的自然对数：$ln\frac{P}{1?P}={\theta }^{T}x$

二、逻辑回归示例

那么如何你现在30岁，年收入为8，你买车的概率为多大？

from sklearn import linear_model
X = [[20, 3],
     [23,7],
     [31,10],
     [42,13],
     [50,7],
     [60,5]
    ]

y = [0,
     1,
     1,
     1,
     0,
     0
     ]

lr_reg = linear_model.LogisticRegression()
lr_reg.fit(X, y)

testX = [[30, 8]]
label = lr_reg.predict(testX)
print ("predicted label = ", label)

prob = lr_reg.predict_proba(testX)
print ("probability = ", prob)

结果输出：
predicted label = [1]
probability = [[0.19998365 0.80001635]]

三、逻辑回归系数的意义

通过以上训练，我们可以得到系数$\theta$的值：
$${\theta }_0=?0.04,{\theta }_1=?0.20,{\theta }_2=0.92$$系数${\theta }_2=0.92$意味着，测试的时候，如果年收入增加1万，一个人买车和不买车的概率比值相较于年收入没有增加的时候，增加$e^0.92=2.5倍$
系数${\theta }_1=?0.20$意味着，测试的时候，如果年龄增加1岁，一个人买车和不买车的概率比值相较于年龄没有增加的时候，降低$e^0?0.20=0.82倍$