K-近邻算法实战
实例一：使用K-近邻算法改进约会网站的配对效果
我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选，但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人：
- 不喜欢的人
- 魅力一般的人
- 极其魅力的人
尽管发现了上述规律，但海伦依然无法将约会网站推荐的匹配对象归入恰当的分类。她觉得可以在周一到周五约会那些魅力一般的人，而周末更喜欢与那些极具魅力的人为伴。海伦希望我们的分类软件可以更好地帮助她将匹配对象划分到确切的分类中。此外海伦还收集了一些约会网站未曾记录的数据信息，她认为这些数据更有助于匹配对象的归类。
实验具体步骤如下：
- 收集数据：提供文本文件。
- 准备数据：使用Python解析文本文件。
- 分析数据：使用Matplotlib画二维扩散图。
- 训练算法：此步驟不适用于k近邻算法。
- 测试算法：使用海伦提供的部分数据作为测试样本。测试样本和非测试样本的区别：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
- 使用算法：产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。
准备数据：从文本文件中解析数据
海伦收集约会数据并存放在datingTestSet2.txt文本文件中，每个样本数据占据一行，总共有1000行。收集的样本主要包含以下3中特征：
- 每年获得的飞行常客里程数
- 玩视频游戏所耗时间百分比
- 每周消费的冰淇淋公斤数
在将上述特征数据输入到分类器之前，必须将待处理数据的格式改变为分类器可以接受的格式。在main.py中创建名为file2Matrix的函数，以此来处理输入格式问题。该函数的输入为文件名字符串，输出为训练样本矩阵和类标签向量。
代码实现：
def file2matrix(filename):
fr = open(filename)
numberOfLines = len(fr.readlines()) # get the number of lines in the file
returnMat = zeros((numberOfLines, 3)) # prepare matrix to return
classLabelVector = [] # prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
line = line.strip()
listFromLine = line.split('\t')
returnMat[index, :] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat, classLabelVector
然后利用numpy函数库来处理，在Python命令提示符下输入下列命令：
import matplotlib
importlib.reload(main)
datingDataMat,datingLabels = main.file2matrix('datingTestSet2.tet')
使用函数file2matrix读取文件数据，必须确保文件datingTestSet2.txt存储在我们的工作目录中。此外在执行这个函数之前，我们重新加载了main.py模块，以确保已更新的内容可以生效，否则Python将继续使用上次加载的main模块。
成功导入datingTestSet.txt文件数据后，可以通过命令：datingDataMat和datingLabels[0:20]来检查数据内容，输出结果大致如下：
分析数据：用Matplotlib创建散点图
在Python命令行环境中输入下列命令通过使用Matplotlib制作原始数据的散点图
>>>import matplotlib
>>>import matplotlib.pyplot as plt
>>>fig = plt.figure()
>>>ax = fig.add_subplot(111)
>>>ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
>>>plt.show()
输出如下结果：
该结果表示散点图使用datingDataMat矩阵的第二、第三列数据，分别表示特征值”玩视频游戏所耗时间百分比“和”每周所消耗的冰淇淋公升数“。
由于没有使用样本分类的特征值，很难从上图看到任何有用的数据模式信息。我们一般会采用色彩或其他的记号来标记不同样本分类，以便更好地理解数据信息。Matplotlib库提供的scatter函数支持个性化标记散点图上的点。重新输入上面的代码，调用scatter函数时使用下列参数：
>>>ax.scatter(datingDataMat[:,1], datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))
此代码利用变量datingLabels存储的类标签属性，在散点图上绘制了色彩不等、尺寸不同的点。下图利用颜色及尺寸标识了数据点的属性类别，因而我们可以从图上数据点所属三个样本分类的区域轮廓。
！！！！还未写完整，稍后完善内容
Array()接受1到2个位置参数，但给出了4个
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
def file2matrix(filename):
fr = open(filename)
numberOfLines = len(fr.readlines()) #get the number of lines in the file
returnMat = zeros((numberOfLines,3)) #prepare matrix to return
classLabelVector = [] #prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
line = line.strip()
listFromLine = line.split('\t')
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
