1.概述

? ? ? ? ?在机器学习中，对于有监督学习，它的任务就是要学习一个模型，应用这个模型，对给定的输入预测相应的输出。监督学习方法可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generative model）和判别模型（discriminative model）。简单地说，生成模型针对联合概率分布进行建模，而判别模型针对条件概率分布建模。

2.生成模型与判别模型的比较

2.1 两者直观对比

判别模型之所以称为“判别”模型，是因为其根据 $X$ “判别” $Y$ ；求的是 $P(Y|X)$ ，即后验概率；

生成模型之所以称作“生成”是因为其预测的根据是联合概率 $P(X,Y)$ ，而联合概率可以理解为“生成” $(X,Y)$ 样本的概率分布（或称为依据），具体来说，机器学习已知 $X$ ，从 $Y$ 的候选集合中选出一个来，可能的样本有 $(X,Y_1), (X,Y_2), (X,Y_3),...,(X,Y_n)$ 实际数据是如何“生成”的依赖于 $P(X,Y)$ ，那么最后的预测结果选哪一个 $Y$ ？选“生成”概率最大的那个！直观对比示意图如下

2.2 两者的特点

2.2.1 生成模型的特点

生成模型被认为是一类可以生成新数据实例的统计模型。作为执行任务的一种手段，例如可实现：

概率和似然估计
建模数据点
描述数据中的现象
根据这些概率区分类别

由于这些类型的模型通常依靠贝叶斯定理来找到联合概率，因此生成模型可以处理比判别模型更复杂的任务。

生成模型关注数据集中各个类的分布，其学习算法倾向于对数据点的底层模式或分布进行建模。生成模型使用联合概率的概念，创建给定特征输入 (?x?)与所需输出或标签 (?y?)同时存在的实例。

这些模型使用概率估计和可能性来对数据点进行建模，并区分数据集中存在的不同类别标签。与判别模型不同，这种模型还能够生成新的数据点。

但是，它有一个主要缺点——如果数据集中存在异常值，那么它会在很大程度上会影响这种模型的建模。

生成模型可以还原出联合概率分布，因此还可以用于无监督机器学习，而判别模型不能；生成模型的学习收敛速度快，当样本容量增加时，学到的模型可以很快收敛于真实模型，当存在隐变量时，仍可以使用生成模型，但不能使用判别模型。从信息量角度来说，生成模型包含的信息量比判别模型包含的信息量大。

2.2.2?判别模型的特点

判别模型是统计分类中使用的一类主要用于有监督的机器学习模型。这种模型也称为条件模型，因为它学习数据集中类别或标签之间的边界。

判别模型（就像字面意思一样）分离类而不是对条件概率进行建模，并且不对数据点做出任何假设。这种模型无法生成新的数据点。判别模型的最终目标是将一个类与另一类分开。

如果数据集中存在一些异常值，则判别模型与生成模型相比效果更好，即判别模型对异常值更稳健。然而，这些模型的一个主要缺点是?错误分类问题，即错误地分类数据点。

判别模型由于学到的是条件概率分布或决策函数，直接面对预测，通常学习得到的准确性更高，由于直接学习 $P(Y|X)$ 或 $f(X)$ , 可以对数据进行各种程度的抽象、定义特征并使用特征，可以简化学习过程。

2.3 两者数学依据

1)生成模型预测依据

在生成模型的情况下，为了找到条件概率 $P(Y|X)$ ，他们在训练数据的帮助下估计先验?概率 $P(Y)$ 和似然概率? $P(X|Y)$ ，并使用贝叶斯定理计算后验概率? $P(Y |X)$ ,?即：

???????????????????????????????? $f(X)=\mathop{\arg\max}\limits_{Y} \ p(Y|X)=\mathop{\arg\max}\limits_{Y}\ \frac{p(X|Y)p(Y)}{p(X)}=\mathop{\arg\max}\limits_{Y} \ p(X|Y)p(Y)$