1.1 引言
- 引言主要讲了本书的是通过学习机器学习来挑选西瓜，
1.2 基本术语
- 数据集：记录的集合（文中是收集了一批关于西瓜的数据）
- 示例/样本：关于一个事件或对象的记录（对一个西瓜的描述）
- 属性/特征：反应对象的性质（西瓜的色泽、根蒂、敲声）
- 分类/回归：预测值是离散值的学习任务/预测值是连续的学习任务
- 测试：学得模型后。使其进行预测的过程
- 预测样本：被预测的样本
- 学习器：即模型，看作学习算法在给定的数据和参数空间上的实例化
- Fx：学得f后，对x进行测试，可以得到其预测标记，即y=f（x）
- 一般的，预测任务希望通对训练集（x1 ，y1）（x2 ，y2）…（xm ，ym）进行学习，建立一个输入空间X到输出空间Y的映射:
| 分类类别 | 输出取值 |
|---|---|
| 二分类 | 通常令Y={-1, +1}或{0， 1} |
| 多分类 | \Y\ >2 |
| 回归类 | Y∈R |
-
聚类：将西瓜分成若干组，每组称为一个“簇”，这些自动形成的簇可能对应潜在的概念划分（深色瓜，浅色瓜等）但是“深色瓜，浅色瓜”在聚类学习中事先是不知道的，通常不拥有标记信息
| 类型 | 训练数据是否有标记 | 代表 |
|---|---|---|
| 监督学习 | 是 | 分类和回归 |
| 无监督学习 | 否 | 聚类 |
- 泛化能力：学得模型适应新样本的能力，具有强泛化能力的模型具有很好的适应整个样本空间
1.3假设空间
-
归纳/演绎：前者从特殊到一般，后者从一般到特殊
-
假设：学得模型对应某种潜在的规律
-
假设空间：可能的函数构成的空间称为假设空间
好瓜?（色泽= ★） （根蒂 = ★） （敲声 = ★）（★表示通配符）
好瓜不存在的可能性，用?表示这种假设。
-
通过许多策略对这个假设空间进行搜索。搜索策略包括如下：
①自顶向下或者自底向上
②从一般到特殊或者从特殊到一般
搜索过程中不断删除与正比例不一致的假设、和（或）与反例一致的假设。学习结果将会是获得与训练集一致的假设。 -
版本空间：与训练集一致的假设合集。
1.4 归纳偏好
- 归纳偏好：算法在学习中对某种类型假设的偏好。
当版本空间面临新样本时产生不同的输出。为了确定输出，偏好将起到重要作用。
尽可能特殊：
好瓜 ?（色泽= ★） （根蒂 = 蜷缩） （敲声 = 浊响）
尽可能一般：
好瓜 ?（色泽= ★） ∩（根蒂 = 蜷缩） ∩ （敲声 = ★）或
好瓜 ?（色泽= ★） ∩ （根蒂 = ★） ∩ （敲声 = 浊响）
但是由于某种原因更相信某种属性。例如更相信根蒂，则会确定为：
好瓜 ?（色泽= ★） ∩（根蒂 = 蜷缩） ∩ （敲声 = ★）
- 归纳偏好具有必要性：任何一个有效的机器学习算法必有其归纳偏好。特别是庞大的假设空间中。
如图多个假设与观察一致，A曲线更平滑，B曲线更崎岖
但是最终的归纳偏好要结合实际进行选择。
没有最好的算法只有最合适的算法