一、有监督学习的概念
?1.概念
? ? ? ? 有监督学习：从有标记的训练数据中学习推断函数。
? ? ? ? 目标函数：Y=f(X)或P(Y|X)
2.有监督学习方法一: 产生式模型/生成式模型
- 对联合分布的进行推断：p(x,y)=p(y)p(x|y)
- 使用贝叶斯定理计算条件分布p(y|x):
- 利用条件概率密度来预测
3.有监督学习方法二：判别式模型
- 直接估计条件概率分布p(y|x)或条件概率密度函数p(y|x)
- 根据估计的函数确定输出
4.有监督学习方法三：判别函数
????????寻找一个函数f(x)，将每个输入直接映射到目标输出。概率不起直接作用：不能直接获取后验概率，f通常旨在近似条件分布p(y|x)
二、回归方法
1.回归问题
?
?2.最小二乘法
?
?BGD的优点：
- 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
- 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能得到全局最优。
BGD的缺点：
- 当样本数目N很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。
3.广义线性回归
?4.广义线性回归的闭式解
????????在高斯噪声模型下，最小化平方误差与最大似然的解相同。
5.正则化的LMS与MAP
6.参数的后验概率
? ? ? ? 后验概率仍然是高斯分布
?
????????最大化后验等同于最小化带有正则项的平方和误差。
?????????
三、分类方法
1.分类问题
?2.判别函数法
? ? ? ? 二类问题：y=1或y=-1
? ? ? ? 求解w，f(x,w)=y
? ? ? ? 使用y=1或y=-1，所有数据满足wTxy>0
3.判别式模型：logistic回归
????????估计后验概率p(y|x)
?4.求解：最大似然估计
?5.多类logistic回归
6.优化多类LR
?
?四、生成式模型
1.高斯判别分析（GDA）
?2.朴素贝叶斯
?