[人工智能]逻辑回归（LR）

?逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中，逻辑回归常用于解决二分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数）

回归模型与分类模型的区别

回归模型的输出是连续的? ? ?分类模型的输出是离散的

?

? ?回归? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?分类

逻辑回归=线性回归+sigmod函数

?

?1.逻辑指的是logisit funtion

?2.回归来源于"线性回归"的Z=XW,使用线性回归去拟合逼近一个“界"，使得按照这个界进行数据分类后得到的cost最小。以概率0.5为分界线，将数据分为正例和反例。使得z>0对应于“正例（趋近于概率为1) "，z<0对应于"反例(趋近于概率为0)“。

因此是使用回归的思想去解决分类问题。

?损失函数cost

? ? ?得到损失函数cost：cost = -y*ln(h)-(1-y*)ln(1-h)

优化模型

使用梯度下降法迭代最优的W

初始化W

更新W W=W -- alpha * dc/dw

迭代到一定次数或到一定阈值?

代码实现

import matplotlib.pyplot as plt
import numpy as np


# def loaddata
def loaddata(filename):
    file = open(filename)
    x = []
    y = []
    for line in file.readlines():
        line = line.strip().split()
        x.append([1, float(line[0]), float(line[1])])
        y.append(float(line[-1]))
    xmat = np.mat(x)
    ymat = np.mat(y).T
    file.close()
    return xmat, ymat


def w_calc(xmat, ymat):
    alpha = 0.001             # 学习率
    maxIter = 10001           # 迭代次数
    # 初始化w
    W = np.mat(np.random.randn(3, 1))
    # 迭代W
    for i in range(maxIter):
        H = 1 / (1 + np.exp(-xmat * W))
        dw = xmat.T * (H - ymat)  # dw(3.1)
        W -= alpha * dw
    return W


xmat, ymat = loaddata('LR123.txt')
# print('xmat:', xmat, xmat.shape)
# print('ymat:', ymat, ymat.shape)
W = w_calc(xmat, ymat)
print('W:', W)

w0 = W[0, 0]
w1 = W[1, 0]
w2 = W[2, 0]
plotx1 = np.arange(1, 7, 0.01)
plotx2 = -w0/w2-w1/w2*plotx1
plt.plot(plotx1, plotx2, c='r', label='decison boundary')



plt.scatter(xmat[:, 1][ymat == 0].A, xmat[:, 2][ymat == 0].A, marker='^', s=150, label='label=0')
plt.scatter(xmat[:, 1][ymat == 1].A, xmat[:, 2][ymat == 1].A, s=150, label='label=1')
plt.grid()
plt.legend()
plt.show()

结果展示??

?