视频学习要点
P1 有监督学习和无监督学习
- 有监督学习： 有因变量，有特征向量，目标是能够对未在数据集中出现的输入给出合理的预测，可分为：
- 无监督学习： 无因变量，有特征向量，目标是寻找数据中的结构
- 典型数据集：
- 有监督学习数据集：
- 回归：
sklearn.datasets.load_boston - 分类：
load_iris
- 无监督学习数据集：
- 月牙型非凸集：
make_moons - 符合正太分布的聚类数据：
make_blobs
P2 回归问题解决方案
模型性能指标：
- MSE均方误差：
MSE
(
y
,
y
^
)
=
1
n
samples
∑
i
=
0
n
samples
?
1
(
y
i
?
y
^
i
)
2
.
\text{MSE}(y, \hat{y}) = \frac{1}{n_\text{samples}} \sum_{i=0}^{n_\text{samples} - 1} (y_i - \hat{y}_i)^2.
MSE(y,y^?)=nsamples?1?∑i=0nsamples??1?(yi??y^?i?)2.
- MAE平均绝对误差:
MAE
(
y
,
y
^
)
=
1
n
samples
∑
i
=
0
n
samples
?
1
∣
y
i
?
y
^
i
∣
\text{MAE}(y, \hat{y}) = \frac{1}{n_{\text{samples}}} \sum_{i=0}^{n_{\text{samples}}-1} \left| y_i - \hat{y}_i \right|
MAE(y,y^?)=nsamples?1?∑i=0nsamples??1?∣yi??y^?i?∣
-
R
2
R^2
R2决定系数：
R
2
(
y
,
y
^
)
=
1
?
∑
i
=
1
n
(
y
i
?
y
^
i
)
2
∑
i
=
1
n
(
y
i
?
y
ˉ
)
2
R^2(y, \hat{y}) = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}
R2(y,y^?)=1?∑i=1n?(yi??yˉ?)2∑i=1n?(yi??y^?i?)2?
- 解释方差得分:
e
x
p
l
a
i
n
e
d
_
v
a
r
i
a
n
c
e
(
y
,
y
^
)
=
1
?
V
a
r
{
y
?
y
^
}
V
a
r
{
y
}
explained\_{}variance(y, \hat{y}) = 1 - \frac{Var\{ y - \hat{y}\}}{Var\{y\}}
explained_variance(y,y^?)=1?Var{y}Var{y?y^?}?
P3 回归模型具体概述
无
P4 理解线性回归模型的三个角度
这一节中给出了三个方法推导线性回归的公式，分别是最小二乘估计、几何解释和概率视角。
最小二乘估计在很多地方都已经学过了，南瓜书上详细的推导，这里不细说。
几何解释可以直接参考Gilbert Strang教授的线性代数16#Projection Matrices and Least Squares
概率视角可以参考吃瓜教程
P5 线性回归的推广：多项式回归
对不能用简单线性关系概括的数据，可以尝试多项式回归。注意阶数不能取太大，一般不超过3或4，过大会引起在边界处的异常波动（龙格现象？）。
P6 线性回归的推广：广义可加模型
- 广义可加模型就是将线性回归中的每一个变量换成一个非线性函数（有一点像概率论到随机过程的推广？）
- 参考书目：《回归分析》谢宇；《女士品茶》（统计学入门）
- python库：pygam
- fit和fit_transform的区别？
- gam.summary()需要有假设检验和统计学基础才能看懂
P7 决策树模型之回归树
回归树相当于对因变量x进行分块，在不同的区域中用不同的值来预测。打破了线性的假设。
回归树的工作过程还是直接看视频比较直观。
视频：7.决策树模型之回归树
P8 线性回归模型与回归树模型的对比
- 特征变量和因变量之间可以很好地用线性关系来表达，使用线性回归模型
- 特征变量和因变量之间存在高度的非线性，使用树模型
- 树模型
- 优点视频里列了很多，其实主要可以归结为：可解释强和容易处理异常值（不敏感）、缺失值（直接将其另外当作一个类别）
- 缺点：容易过拟合
- 一定要搞懂sklearn中树模型的参数意思
P9 支持向量回归（kkt条件、对偶理论等）
这一部分可以参考浙江大学的机器学习课程
|