????????统计学是用以收集数据，分析数据和由数据得出结论的一组概念、原则和方法。
一、作为统计判别问题的模式分类
????????给定观测值x,判断其属于
类还是
，作出某次判断时的错误率是：
?????????结论：最小化误差概率条件下，决策规则为：
，则判别
；否则判别
1.贝叶斯判别原则
????????似然函数：
????????
????????似然比、判决阈值：
2.贝叶斯定理
3.朴素贝叶斯
????????在特征
是多维向量时，朴素贝叶斯算法是假设各个特征之间相互独立。
?
?4.贝叶斯最小风险判别
????????对M类问题，如果观察样本被判定属于ωj类 ，则条件平均风险为：
????????Lij 称为将本应属于ωi类的模式判别成属于ωj 类的是非代价。
????????Lij的取值：若i=j，即判别正确，得分， Lij可以取负值或零，表示不失分。 若i≠j，即判别错误，失分， Lij应取正值。
????????最小平均条件风险分类器：分类器对每一个模式x有M种可能的类别可供选择。 若对每一个x计算出全部类别的平均风险值r1(x), r2(x),…, rM(x)，并且将x指定为是具有最小风险值的那一类，则这种分类器称为最小平均条件风险分类器。
- 两类（M=2）情况的贝叶斯最小风险判别
- 多类（M 类）情况的贝叶斯最小风险判别
二、正态分布模式的贝叶斯分类器
1.M种模式类别的多变量正态类密度函数
????????判别函数是一个二次曲面。 对于正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。
2.两类问题且其类模式都是正态分布的特殊情况
????????当C1≠C2时的情况：判别界面d1(x)- d2(x)=0是x的二次型方程，即ω1和ω2两类模式可用二次判别界面分开。 当x是二维模式时，判别界面为二次曲线，如椭圆、圆、抛物线或双曲线等。
????????当C1=C2 =C时的情况：判别界面为x的线性函数，为一超平面。 当x是二维时，判别界面为一直线。
?
- 如果两种分布的协方差矩阵相等并且与单位阵成比例，且先验概率相等。则决策边界垂直于两个中心的连线。
- 协方差矩阵相等，判决边界同样是超平面。随着先验概率的改变，判决边界也随之改变；对于差别较大的离散先验概率而言，判决边界不会落于中心点之间。
?三、均值向量和协方差矩阵的参数估计
?????????参数估计的两种方式：
- 将参数作为非随机变量来处理，例如矩估计。
- 随机参数的估计，即把这些参数看成是随机变量，例如贝叶斯参数估计。
1.均值和协方差矩阵的估计量定义
?
2.均值和协方差矩阵估计量的迭代运算
?
3.均值向量和协方差矩阵的贝叶斯学习
- 一般概念
- ?单变量正态密度函数的均值学习
?????????由于每一次迭代是从样本子集中逐个抽取 一个变量，所以 N 次运算是独立地抽取 N 个变量，则
?
?
?
?
?