定义
利用经验改善系统性能
机器学习的流程：
未知目标函数-->训练样本-->模型方案-->最终学习到的方法
假设空间即模型的候选集合
基本术语
数据集
为进行机器学习收集的数据记录的集合称为一个“数据集”，其中每一条记录是关于一个事件或对象的描述，称为一个“示例”或“样本”。
属性
为反映事件或对象在某方面的表现或性质的事项称为“属性”。
属性的取值则为“属性值”。
属性张成的空间称为“属性空间”、“样本空间”或“输入空间”。因为多个属性张成可形成一个用于描述对象的多维空间，因此可以把空间中的一个示例称为一个“特征向量”。
属性的个数即样本的“维数”。
训练数据
从数据中学得模型的过程称为“学习”或“训练”。训练过程中使用的数据称为“训练数据”，其中的每一个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。
标记（label）
对于训练样本进行标记的信息。
如：“((色泽=青绿;根蒂=蜷缩;敲声=浊响),好瓜)”，其中“好瓜”或“坏瓜”就是标记。
拥有标记信息的示例，则称为“样例”。
所有标记的集合称为“标记空间”或“输出空间”。
分类
假如我们预测的是离散值，如区分“好瓜”“坏瓜”，则此类学习任务称为“分类”。
只涉及两个类别的为“二分类”任务，通常其中一个类为“正类”，另一个类为“反类”；涉及多个类别时，则称为“多分类”任务。
回归
若我们要预测的是连续值，例如西瓜成熟度0.95、0.37，则此类学习任务称为“回归”。
测试
学得模型后，使用其进行预测的过程称为“测试”，被预测的样本称为“预测样本”。
学习任务两大类
监督学习
分类和回归
无监督学习
聚类
将训练集中的对象分为若干组，每组称为一个“簇”；这些自动形成的簇可能对应一些潜在的概念划分。有助于我们了解数据内在的规律，为更深入地分析数据建立基础。
泛化能力
机器学习的目标是使学得的模型能很好的适用于“新样本”，而不仅仅是在训练样本上工作得很好；即便对聚类这样的无监督学习任务，我们也希望学得簇划分能适用于没在训练集中出现的样本。学得模型适用于新样本的能力，称为“泛化”能力。
具有强泛化能力的模型能很好的适用于整个样本空间。
假设空间
我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设，即能够将训练集中的对象判断正确的假设。假设的表示一旦确定，假设空间及其规模大小就确定了。
现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，我们称之为“版本空间”。
归纳偏好
在一个训练样本无法断定多个假设中哪一个更好，而对于一个具体的学习算法而言，必须要产生一个模型。此时学习算法本身的“偏好”就会起到关键作用。
机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，简称“偏好”。
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。
归纳学习可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”。
习题
