目录
第1章 绪论?
1.1机器学习：研究关于“学习算法”的学问? => 在计算机上从数据（经验）中产生“模型”的算法。
1.2基本术语：
数据集? ??????????????????????????100个西瓜
样本（示例） ????????????????1个西瓜
特征（属性） ???????????????? 色泽、根蒂、敲声
特征值 ????????????????????????????乌黑、蜷缩、沉闷
样本空间（输入空间）????上述是三维空间
特征向量 ???????????? ????????????每个样本在样本空间里对应的坐标向量
训练（学习） ???????????????? ?从数据中学得模型
训练数据
训练样本（训练例）
训练集
学习器 ????????????????????????????模型，可看作学习算法在给定数据和参数空间上的实例化
标记 ???????????? ???????? ???????? ?示例的结果信息
样例? ? ???????????????????????? ????拥有标记信息的示例
标记空间（输出空间） ? ??所以标记的集合
分类 ???????????????????? 有监督学习? 离散值? 分为：二分类（正反类）、多分类
回归 ???????????????????? 有监督学习? 连续值
聚类 ???????????????????? 无监督学习? 通常无标记信息
测试
测试样本（测试例）
泛化能力 ????????????????学得模型适应于新样本的能力
1.3假设空间：
归纳 ???????????????? 从特殊到一般? 分为：广义、狭义（学得概念）
演绎 ???????????????? 从一般到特殊
假设空间? ?
版本空间 ???????? 与训练集一致的“假设集合”
第2章 模型评估与选择
2.1经验误差与过拟合：
错误率 ???????? ???E = a/m
精度 ????????????? ? 1 - E?
误差? ????????????? |学习器的预测输出 - 样本的真实输出|
训练误差????????（经验误差） 学习器在训练集上的误差
泛化误差 ????????学习器在新样本上的误差
过拟合（过配） ???? 学习能力过强? 麻烦，无法彻底避免
欠拟合（欠配） ???? 学习能力低下? 较容易克服
2.2评估方法：
测试集? ? ? 尽可能与训练集互斥
测试误差
得到测试集和训练集的方法：
1、留出法：
?????将数据集D划分出两个互斥集合（三七分、二八分），划分时要尽可能保持数据分布的一致性；
?????一般要进行多次随机划分，训练出多个模型，重复实验评估后取平均值。
缺点：
测试集小，则模型更接近于D训练出的模型，但评估结果不够稳定准确；
训练集小，则模型与D训练出的模型有较大差别，评估结果的保真性降低。
2、交叉验证法：
????????k折交叉验证：
????????将数据集D分成k个相似的互斥子集（分层采样），每个子集要尽可能保持数据分布的一致性，每次用(k-1)个子集的并集作为训练集，剩下的那个子集为测试集，可获得k组训练/测试集，进行k次训练和测试，返回k次实验结果的平均值；
????????一般k个子集要进行多次随机划分，最终得多次k折交叉验证结果的平均值。
? ? ? ? 特例：留一法? 往往被认为较为准确，但某些情况下误差极大。
缺点：数据量较大时，对算力要求高
3、自助法：
????????对有m个样本的数据集D自主采样m次（放回采用），D中约有36.8%的数据未出现在采样数据集D'中，将D'作为训练集，将D/D'作为测试集(/：集合减法)。
适用于数据集较小，难以划分训练/测试集的情况。
缺点：改变了初始数据集的分布会引入估计偏差
调参与最终模型：
验证集 ???????? 模型评估与选择中用于评估测试的数据集
将训练集分为验证集和测试集，基于验证集进行模型选择和调参。
2.3性能度量：
???????D = {(x1,y1),(x2,y2),(x3,y3)...(xm,ym)}，评估学习器f的性能，即比较学习器预测结果f(x)与真实标记y。
均方误差：??
p( )为概率密度函数
错误率：
精度：
查准率P、查全率R：
分类结果混淆矩阵
对于二分类问题，
查准率P为真正例占预测正例的比值（预测正例中准确的）
查准率公式
查全率R为真正例占真实正例的比值（真实正例中被预测出的）
查全率公式
查全率和查准率两者相互矛盾
BEP（平衡点）? ?查全率 = 查准率?时的取值? ? ??
P-R曲线与平衡点示意图
在P-R曲线与平衡点示意图中，
由于A曲线完全包住C曲线，所以认为学习器A性能优于学习器C。
由于A曲线的BEP大于B曲线的BEP，所以认为学习器A性能优于学习器B。
F1度量? ? ? 基于查准率和查全率的调和平均
Fβ? ? ? ?F1度量的一般形式，能表达出对查准率和查全率的不同偏好
β>1时偏向查全率，β<!时偏向查准率
对于二分类混淆矩阵，
宏查全率(macro-P)、宏查准率(macro-R)、宏F1(macro-F1)：
????????先在各混淆矩阵上求查全率和查准率，再求平均
微查全率(micro-P)、微查准率(micro-R)、微F1(micro-F1)：
????????先在各混淆矩阵上求各元素平均值，再求查全率和查准率
????????以上思路均来源于《机器学习》前两章内容，仅代表个人理解。