[人工智能]朴素贝叶斯

朴素贝叶斯

• 根据贝叶斯定理与特征条件独立假设的分类方法
• 根据贝叶斯定理，求出后验概率最大的可能性的目标数据

1.公示推导

1. x表示特征数据，y表示对应的目标数据，T表示总体训练集数据

2. P(Y=Ck)表示先验概率，即每个目标数据可能的概率

3. P(X=x|Y=Ck)表示在目标数据为Ck时，样本中每个特征数据不同取值的概率

4. 例如：有3个特征数据，每个特征数据有2类不同的取值，4个目标数据(Sj)，就会有2**3*4=32个参数个数

5. 对条件概率分布进行条件独立假设，得到此公式
   

6. 在特征数据为x的条件下，目标数据为Ck的概率

   • 分母：在每个特征中,特征为x的概率的累加和，分母是全概率公式
   • 分子：在目标数据为Ck的条件下，特征为x的概率

7. 5公式代入6公式得到下面公式

8. 朴素贝叶斯分类器公式为

9. 由于分母是全概率公式，求最大值，就是求分子的最大值，即简化得到公式

2.后验概率最大化

1. 假设选择0-1为损失函数

• 当Y的最大概率为f(X)时，表示分类正确，没有损失，不等于f(X),表示分类错误，损失为1

2. 期望风险函数为

3. 条件风险期望为
   

4. 要求最小值的风险

   • 当y=Ck时，损失函数对应为0，即实际求的是y不等于Ck的最小值
   • 损失函数是0-1分布，即y不等于Ck+y等于Ck的概率为1
   • 最终变为求y=Ck的最大值

5. 最终将期望风险最小化转变为后验概率最大化

3.参数估计

1. 先验概率P(Y=Ck)的极大似然估计是

2. 条件概率极大似然估计是

   • j表示第几个特征，l为特征的取值，特征所有可能取值集合为{aj1,aj2,...ajSj}

4.贝叶斯估计【解决分类估计为0的问题】

1. 条件概率贝叶斯估计

5.朴素贝叶斯思想

• 根据所有特征数据组合的所有情况下，属于各个目标数据的概率，概率大的，就是那个类别

• 当我们预测分类时，想通过特征数据来预测目标数据概率【先验概率】，但是在显示中，我们不知道特征数据条件下的目标数据的概率，所以需要在已有的数据中，在已有目标数据条件下，特征数据的概率【后验概率，根据目标数据求特征数据的概率】，取在大概率的值作为分类类别

6. 优点与缺点

• 优点
  • 算法简单，主要用于文本分类
  • 可处理多分类问题
• 缺点
  • 需要对样本数据进行相互独立假设，在有些是有样本不独立时，预测结果会导致预测效果不好

7. 总结

• 贝叶斯算法，由后验概率分布得到最大值，作为分类的结果
• 后验概率：通过目标数据，得到特征数据的概率
• 先验概率：通过特征数据，得到目标数据的概率
• 后验概率最大化等于0-1损失函数时的期望风险最小化

参考书籍：统计学习方法【作者：李航】