????????输入空间 𝒳 和输出空间 𝒴 构成了一个样本空间 ．对于样本空间中的样本 (𝒙, 𝑦) ∈ 𝒳 × 𝒴 ， 假定 𝒙 和 𝑦 之间的关系可以通过一个未知的 真实映射函数 𝑦 = 𝑔(𝒙) 或 真实条件概率分布 𝑝 𝑟 (𝑦|𝒙) 来描述。机器学习的目标是找到一个模型来近 似真实映射函数 𝑔(𝒙) 或真实条件概率分布 𝑝 𝑟 (𝑦|𝒙)。?由于我们不知道真实的映射函数 𝑔(𝒙) 或条件概率分布 𝑝 𝑟 (𝑦|𝒙) 的具体形式， 因而只能根据经验来假设一个函数集合 ? ， 称为 假设空间 （ Hypothesis Space）， 然后通过观测其在训练集 𝒟 上的特性 ， 从中选择一个理想的 假设 （ Hypothesis） 𝑓 ? ∈ ?．

????????假设空间? 通常为一个参数化的函数族

????????????????????????????????????????? = {𝑓(𝒙; 𝜃)|𝜃 ∈ ?𝐷}?????????????????????????????????(2.5)

其中 𝑓(𝒙; 𝜃) 是参数为 𝜃 的函数 ， 也称为 模型 （ Model ）， 𝐷 为参数的数量 ．

????????常见的假设空间可以分为线性和非线性两种， 对应的模型 𝑓 也分别称为线性模型和非线性模型。

0-1 损失函数 最直观的损失函数是模型在训练集上的错误率 ， 即 0-1 损失函数 （ 0-1 Loss Function ）：

虽然0-1损失函数能够客观地评价模型的好坏，但其缺点是数学性质不是很好 ： 不连续且导数为 0 ， 难以优化 ． 因此经常用连续可微的损失函数替代。

平方损失函数

平方损失函数 （ Quadratic Loss Function）经常用在预测标签𝑦 为实数值的任务中 ， 定义为

交叉熵损失函数

交叉熵损失函数 （Cross-Entropy Loss Function）一般用于 分类问题 ．假设样本的标签 𝑦 ∈ {1, ? , 𝐶} 为离散的类别，模型 𝑓(𝒙; 𝜃) ∈ [0, 1]𝐶 的输出为类别标签的条件概率分布，即

Hinge 损失函数 对于二分类问题 ， 假设 𝑦 的取值为 {?1, +1} ， 𝑓(𝒙; 𝜃) ∈ ? ．

Hinge 损失函数 （ Hinge Loss Function）为

2.2.2

风险最小化准则

一个好的模型 𝑓(𝒙; 𝜃) 应当有一个比较小的期望错误，但由于不知道真实的 数据分布和映射函数，实际上无法计算其期望风险 ?(𝜃)．给定一个训练集 𝒟 = {(𝒙(𝑛) , 𝑦(𝑛))}𝑁 𝑛=1 ， 我们可以计算的是

经验风险 （Empirical Risk），即在训练集上 的平均损失：

过拟合

根据大数定理可知，当训练集大小 |𝒟| 趋向于无穷大时，经验风险就趋向于期望风险． 然而通常情况下，我们无法获取无限的训练样本，并且训练样本 往往是真实数据的一个很小的子集或者包含一定的噪声数据 ，不能很好地反映 全部数据的真实分布 ．经验风险最小化原则很容易导致模型在训练集上错误率 很低 ， 但是在未知数据上错误率很高 ． 这就是所谓的 过拟合 （ Overfitting ）