task02:概览西瓜书+南瓜书第1、2章

3.1 线性回归的基本形式
给定d个属性描述,可以通过属性线性组合来进行预测的函数 
3.2 线性回归
3.2.1 一元线性线性回归 模型:线性模型 准则:均方误差最小 算法:最小二乘
假设x和y满足线性函数关系,使用x的值来预测y 即  这里,为了求出w和b,我们考虑衡量f(x)与y之间差别,使用均方误差来衡量,即让均方误差最小,为我们的优化准则。 求解过程中使用最小二乘法,分别对w和b求导,再令导数为0,求出w和b的闭式解:  3.2.2 多元线性回归 模型:线性模型 准则:均方误差最小 算法:梯度下降法/最小二乘 参照一元线性回归,我们这里,属性为多个,此时x对应的系数就为多个,记为w的转置,模型为: 
同样的优化的准则为均方误差最小:
 闭式解解法:  根据最小二乘法 
求出得到的  最终 
3.3 一般广义线性模型

3.4 对数几率回归
模型:非线性模型() 准则:极大似然估计(类的取值概率乘积最大) 算法:梯度下降/牛顿法  
3.5 线性判别分析(LDA)

模型:非线性 准则:类内协方差矩阵最小,类间向量均值最大 想要达到这个准则,即最大化目标,使用两者比值即可  推导过程: 
 
3.6 多分类学习
可由二分类推广到多分类: 三种拆分方式: ovo,ovr,mvm 对于ovo和ovr来说:  mvm: 对N 个类别做M 次划分, 每次划分将一部分类别划为正类,一部 分划为反类,从而形成一个二分类训练集;这样一共产生M 个训练集,可训练出M 个分类器. 使用海明距离或者欧式距离,取距离最小的作为判定的距离: 
|