python手写逻辑回归算法
算法介绍
在生活中，我们常常能听见这样的说法，“您的这辆车已经使用了5年了，有80%的概率会出一些小的故障。”
我们会不会觉得很奇怪，一件事情会发生就是会发生，不会发生就是不会发生，这80%是啥意思？于是我们点点头。虽然我们不是很理解这个数字的含义，但是我们知道这个车很有可能会出故障。
那这个概率究竟是怎么来的呢？其实这个概率是需要历史数据的，对于人来说就是经验。这个历史数据其实是一个分类的数据，即在自变量是多少的时候，因变量就会怎么样（即产生一个固定的状态的y）。在现实中，当我们这样的数据多了的时候，我们就能发现一些规律，（至于为什么会这个样子，其实我们也不会特别的明白）比如我们发现车在使用了10年的时候，很可能刹车片会出问题，如果现在有一辆使用了十年的车，即使它的刹车片没有出问题，但是我们也会认为很容易就会出现问题。但是这个很容易其实是一个很模糊的事情，为什么说它模糊呢？因为每个人对于“很”这个副词的理解都是不一样的。于是聪明的人类试图用数据的方式来告诉人们一个概率。我们应该怎么做？
人类们拿到的数据是一个分类数据，中间是不连续的，但是他们突发奇想，要不把这个数据连续起来预测一下？这样，概率和数字不久有了吗？就这样，他们高兴的把中间的状态也赋予了值和含义。但是存在的一个问题是，我们希望得到的概率是一个0-1之间的数字啊！随意这样做肯定是不可以的。于是乎，他们终于从数学的海洋里面，找出了最贴近现实的一个函数——sigmoid函数！这个函数的值域在0-1之间，而且对于拟合这种问题来说，函数的性质合适的可怕。函数在两头的极端的值的时候，都会偏向于0和1，这说明了，如果一个数据很极端的话，它属于某个类的可能性会非常的大，而一个数据如果很中庸的话，它很模糊，概率会处在50%左右。sigmoid函数完完全全说明了这个道理。
于是，逻辑回归就这样产生了。把x带入到sigmoid函数里面，求得一个概率，用这样的方式来对现实进行拟合，如果可以拟合现实，就可以对现实进行预测。因此我们说，sigmoid函数其实本质是在做回归，但是结果是在做分类。怎么分类呢？以0.5为界限吗。你倾向于谁，就把你判断成为谁。
但是如何判断这个函数的拟合的好坏呢？
从愿景的角度来说，我们希望自己的算法能进行判断的准确，因此对于不同的分类的Y,衡量估计的值的参照是不同的。于是我们构造了一个函数，可以用来表示估计的准确的概率（注意这个概率和上面我们估计的概率不是一个概率，这里的概率是为了衡量我们估计的准确而重新构建的指标）。我们希望自己准确的估计的概率是最大的，于是把这些概率都乘起来，然后希望求最大值就好了。以上，就是逻辑回归的整体的思路。需要明白的其实就是两个问题：1）sigmoid函数是用来干什么的？ 2）如何衡量模型拟合的好坏？（即代价函数的构建和我们的期望）
那为什么会说逻辑回归是一种分类的算法呢？
你看看我们有的原始数据，它产生的原因和它输出的结果不就知道了吗？嘿嘿。
那为什么逻辑回归叫做逻辑回归呢？
这个我就真的不知道了，也许，是为了方便称呼吧~
程序设计思路
逻辑回归从本质上和多元线性回归是一样的，用线性函数来拟合，但是参数的调整根据将拟合完的数经过一遍sigmoid函数，
程序代码
# 编写函数，利用梯度下降实现逻辑回归
import numpy as np
def sigmoid(x):
return 1.0/(1+np.exp(-x))
def cost_function(X,Y,ws):
x = np.dot(X,ws)
left = np.multiply(Y, np.log(sigmoid(x)))
right = np.multiply(1 - Y, np.log(1 - sigmoid(x)))
return np.sum(left + right) / -(len(X))
# 输入X为数组，每行是一个样本，每列是一个属性
# Y是列向量，是一个0.1向量
def logistic_gradient(X,Y,alpha = 0.1):
import matplotlib.pyplot as plt
# 构建系数
num,col = X.shape
ws = np.ones((col,1))
epochs = 10000 # 迭代次数，因为我们并不知道这个问题是不是一个凸问题，就不拿梯度大小作为终止条件
# 开始梯度下降
time = 0
costs = []
times = []
for i in range(epochs):
time = time + 1
h = sigmoid(np.dot(X,ws))
gradient = np.dot(X.T,(h-Y))/num
ws0 = ws
costbefore = cost_function(X,Y,ws)
ws = ws - alpha*gradient
costafter = cost_function(X,Y,ws)
if costafter > costbefore:
ws = ws0 # 学习率不对，回到更改前
alpha = alpha/2
else:
times.append(time)
costs.append(costbefore)
plt.plot(times,costs)
return ws
