机器学习之实现线性回归
1.介绍数据集
本文中我使用的是西瓜数据集3.0a
在拿到数据集后，预处理是：
这个数据集的格式是gbk格式的，所以先手动将该数据集改为utf-8，这样在后面的处理中不容易报错。发现在第四列好瓜这一列全部是汉字，汉字只是我们的语言，计算机看不懂，所以我们需要将其转化为计算机看的懂的，是变为1，否变为0。
1.读取数据及数据预处理
首先将属性矩阵和标记矩阵分开存储，同时在属性矩阵最后增加一列全为1的数，并将其放入label里面存储。
#读入西瓜数据集并且预处理
def loadDatatest(filename):
datatest = []
labletest = []
with open(filename,'r',encoding = 'utf-8')as csv_file:
csv_reader = csv.reader(csv_file)
header = next(csv_reader)
for row in csv_reader:
if row[3] == '是':
labletest.append(1)
elif row[3] =='否':
labletest.append(0)
row[3] = 1
datatest.append(row)
data=[[float(x) for x in row]for row in dataset]
return datatest,labletest
首先定义datatest和labletest来存储数据，将labletest中为是的加1，为否的加0，之后将该列全部替换为1.
2.对数几率函数–sigmoid函数
#对数几率函数 sigmoid()
def sigmoid(z):
return 1.0 / (1+np.exp(-z))
在这里为什么使用sigmoid函数而不是阶跃函数，原因是阶跃函数不连续，不能直接使用，所以希望找一个近似单位阶跃函数的“替代函数”，并希望他单调可微，所以采用了sigmoid函数。
3.迭代求w函数——train
其中n为步长，最终我们得到的w是一个数组，每一个元素表示的是该属性前面的系数w，为了控制迭代次数，我们将”准确率高于90%“作为终止的条件；
#training
def train(datatest,labletest):
data=np.mat(dataset).astype(float)#将数据集中的数据读取出来形成矩阵形式
label=np.mat(labelset).transpose()#同上
w = np.ones((len(dataset[0]),1))#np.ones()创建一个m行n列的多维数组
#步长 = 0.0001
n = 0.0001
# 每次迭代计算一次正确率（在测试集上的正确率）
# 达到0.90的正确率，停止迭代
rightrate = 0.0#正确率
while rightrate<0.90 :
c=sigmoid(np.dot(data,w))
b=c-label
change = np.dot(np.transpose(data),b)
w=w-change*n
#预测，更新准确率
rightrate = test(dataset,labelset,w)
return w
4.计算准确率函数——test
判断y是否大于或小于0.5，得到预测值；并与实际标记值是否相等，若相等则判断正确的个数+1，最终返回准确率。
#test
def test(dataset,labelset,w):
data=np.mat(dataset).astype(float)
y=sigmoid(np.dot(data,w))
b,c=np.shape(y)#功能是查看矩阵或者数组的维数。
rightcount=0
for i in range(b):
flag=-1
if y[i,0]>0.5:
flag=1
elif y[i,0]<0.5:
flag=0
if labelset[i] == flag:
rightcount+=1
rightrate=rightcount/len(dataset)
return rightrate
5.主函数
dataset=[]
labelset=[]
filename =r'C:\Users\dahula\Desktop\watermelon_3a.csv'
dataset,labelset=loadDatatest(filename)
w=train(dataset,labelset)
print("若使得准确率大于90%，则此时的w为：\n",w)
print("正确率：%f"%(test(dataset,labelset,w)*100)+"%")
