机器学习概述
机器学习（ML）定义：就是让计算机从数据中进行自动学习，从而得到某种知识（或规律）早期称为模式识别（PR）
2.1基本概念
样本、特征、标签、模型、学习算法等概念
特征又称为属性（如水果的颜色、大小、产地、品牌、形状等）
标签：是我们需要进行预测的，可以是连续值（如水果的甜度、水分、成熟度的综合打分），也可以是离散的（如好、坏这类标签）
完成标记的标签和特征的东西可以看成一个样本或示例。
数据集（语料库）：样本的集合
特征向量:表示刚刚所列的所有特征构成的向量，每一维表示一个特征，标签通常用标量y表示。
先假设训练集D由N个样本组成（每个样本都是独立同分布的)独立从相同的数据分布中抽取即为
得到训练集D，我们用计算机在函数集合里F={f1(x),f2(x),…}中计算寻找到一个“最优解”的函数f*（x）来近似每个样本的特征向量x和标签y之间的真实映射;
故而函数y*=f*(x）{y*为标签值}/标签的条件概率为p(y|x)=fy*(x).
为了“计算”或“寻找”这个“最优解”要进行学习算法（学习器Learner）来完成，(本章只作概述)
根据提取的特征，使用得到的F*(x)来预测好坏。为了评价的公正性，我们还是独立同分布地抽取另一组为测试集 𝒟′，计算预测结果的准确率
下图是机器学习系统过程图：
对一个预测任务，输入特征向量为 𝒙，输
出标签为𝑦，我们选择一个函数集合?，通过学习算法𝒜和一组训练样本𝒟，从?中学习到函数𝑓?(𝒙)．这样对新的输入𝒙，就可以用函数𝑓?(𝒙)进行预测．
2.2机器学习三要素
机器学习方法可以粗略地分为三个基本要素：模型、学习准则、优化算法
一，模型：
要确定其输入空间𝒳 和输出空间𝒴．不同机器学习任务的主要区别在于输出空间不同．在二分类问题中𝒴 = {+1, ?1}，在𝐶 分类问题中𝒴 = {1, 2, ? , 𝐶}，而在回归问题中𝒴 = ?．
来假设一个函数集合?，称为假设空间（Hypothesis Space），
然后通过观测其在训练集 𝒟 上的特性，从中选择一个理想的假设（Hypothesis） 𝑓? ∈ ?．
假设空间? 通常为一个参数化的函数族
? = {𝑓(𝒙; 𝜃)|𝜃 ∈ ?𝐷},
其中𝑓(𝒙; 𝜃)是参数为𝜃 的函数，也称为模型.
线性模型：在线性模型中的假设空间为一个参数化的线性函数族（family of functions）为：
参数𝜃 包含了权重向量𝒘和偏置b
非线性模型；
广义非线性模型中能写成多个非线性基函数𝜙(𝒙)的线性组合
中𝜙(𝒙) = [𝜙1(𝒙), 𝜙2(𝒙), ? , 𝜙𝐾(𝒙)]T 为𝐾 个非线性基函数组成的向量，权值向量W，偏置b；
学习准则：
我们知道训练集D独立同分布样本组成；每个样本都是在X与Y联合空间中拥有着一种未知分布独立随机产生的，但这种未知分布必须是固定的（不会随时间变化而变化）。
一个好的模型 𝑓(𝒙, 𝜃?) 应该在所有 (𝒙, 𝑦) 的可能取值上都与真实映射函数
𝑦 = 𝑔(𝒙)一致，即
|𝑓(𝒙, 𝜃?) ? 𝑦| < 𝜖, ?(𝒙, 𝑦) ∈ 𝒳 × Y
在这里只是一个很模糊的函数，要借助损失函数来量化其中的差异；
损失函数
损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异．
有以下几种损失函数：
1 0-1 损失函数
该函数能最直观的反应模型在训练集上的错误率；
其缺点：是在数学上观察：该函数不连续且导数为0，不好优化，而连续可微的函数数学性质比0-1 损失函数好许多。
2 平方损失函数
该函数多用于预测标签y为实数值；其定义：?(𝑦, 𝑓(𝒙; 𝜃)) = 12(𝑦 ? 𝑓(𝒙; 𝜃))2.
缺点：不适用分类问题
3 交叉熵损失函数
给定两个概率分布p和q，通过q来表示p的交叉熵为
交叉熵刻画的是两个概率分布之间的距离， p代表正确答案， q代表的是预测值， 交叉熵越小，两个概率的分布约接近
用于分类问题，设有样本标签签 𝑦 ∈ {1, ? , 𝐶} 为离散的类别模型 𝑓(𝒙; 𝜃) ∈ [0,
1]𝐶的输出为类别标签的条件概率分布 数学表达：𝑝(𝑦 = 𝑐|𝒙; 𝜃) = 𝑓𝑐(𝒙; 𝜃),且满足：
标签的真实分布𝒚和模型预测分布𝑓(𝒙; 𝜃)在交叉熵表示为：
2 Hinge 损失函数
通常用于"maximum-margin"的分类任务中，如支持向量机
数学表达式为：
其中y拔表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， y表示正确的类别。
有关Hinge 损失函数详解参照这位同学的博客
风险最小化准则
一个模型要做到好应该考虑最小的期望错误，上节中我们不知真实的函数分布 和数据存在，从而无法计算期望风险R；在给定的训练集
D={(𝒙(𝑛), 𝑦(𝑛))}𝑁𝑛=1，计算其经验错误也就是D 的平均损失
在此过程中找到一组参数使得经验风险最小
故为经验风险最小化（ERM）准则；
过拟合
在模型中，模型过于复杂，在训练集上面的拟合效果非常好 甚至可以达到损失为0 但是在测试集的拟合效果很不好；
在本节理解：经验风险无限到达期望风险,训练集D无限趋于无穷，但我们是无法获取无穷多的训练样本，在样本的子数据项往往会有一些偏差错误数据（噪声），不是100%真实分布，从中我们可以发现ERM准则会导致模型在该训练集中错误率极低而未知错误会被放大，这样就会过拟合；
欠拟合
模型过于简单 在训练集和测试集的拟合的效果都不好
过拟合，欠拟合，示例例
在机器学习中是一个从有限、高维、有噪声的数据中获取一般规律的泛化问题。
梯度下降法
在机器学习中，最简单、常用的优化算法就是梯度下降法
，即首先初始化参
数𝜃0，然后按下面的迭代公式来计算训练集𝒟 上风险函数的最小值
其中𝜃𝑡 为第𝑡 次迭代时的参数值，𝛼为搜索步长．在机器学习中，𝛼一般称为学习
率
在进行优化算法中，可以通过提前停止策略来防止过拟合的发生
