[数据结构与算法]线性回归 - 手推

线性回归

这里推荐b站大佬的视频 ：机器学习-白板推导系列

最小二乘估计求解：误差函数最小

极大似然估计求解：

总结：得出最小二乘法 《 = 》噪声服从高斯分布的极大似然估计
另：
极大似然估计（单独）

关于随机变量和概率分布

随机变量

随机变量是对试验结果的数值描述

概率分布

随机变量的概率分布是描述随机变量取不同值的概率

离散型随机变量和连续型随机变量的概率分布表示不同

离散型随机变量的概率函数f(x)是直接给出了随机变量x取某个特定值的概率，类似二项、泊松、几何分布；
连续型随机变量的概率函数f(x)是概率密度函数，没有像离散型随机变量一样直接给定某个值的概率，而是给定区间上曲线f(x)下的面积是连续型随机变量在该区间取值的概率，类似正态、指数分布；