[人工智能]李宏毅《机器学习》小知识点1： Generative VS Discriminative 问题

生成式模型（generative） vs 判别式模型（discriminative）

1 生成式模型（generative）

• 【思路】我简写了，具体看下面文章。

  李宏毅《机器学习》笔记：4.概率分类模型：应用过程

通过已知抽样数据，来假设是数据来自高斯分布（当然也可以用伯努利分布之类的）模型，通过模型确定${\mu }_1,{\mu }_2,\Sigma$等参数，带入高斯公式，求出分类概率

• 【典型代表】：朴素贝叶斯模型

2. 判别式模型（discriminative）

• 【典型代表】：逻辑回归

• 【思路】这里简写了，具体看文章

  李宏毅《机器学习》笔记：5.logistic回归

就是不考虑统计模型，只考虑特征，不断训练特征向量，用损失函数来不断靠近真实模型。就是我们经常用的 梯度下降什么的

3. 联系和区别

• 同一个function
• 两个模型在不同场合性能会各有千秋
• Generative会遵循自己的假设，有时候甚至会忽略数据，所以在数据量小的时候比较有优势，Discriminative 则靠数据说话，随着数据量增大，Discriminative 模型的error应该是越来越小。

【杨哥助记】
这条很好理解，用机器学习的方法（Discriminative）数据量大的比小的更准确，小的损失函数往往欠拟合非常大。

• 当数据所含noise比较多，Generative要比Discriminative 模型要好，因为数据的label有问题，Generative做了脑补会把数据中的noise问题忽视掉。
• 这里Priors和class-dependent probability没怎么听懂，回头再补充。