1. 请详细阐述线性回归模型的最小二乘法表达
基于均方误差最小化来进行模型求解的方法，主要思想是选择未知参数使得理论值与观测值之差的平方和达到最小。在线性回归中，最小二乘法就是视图找到一条直线，使所有样本到直线上的欧氏距离之和最小。
求解 和 ，使得损失函数
1
m
∑
i
=
1
m
(
y
i
?
w
x
i
?
b
)
2
.
\frac{1}{m} \sum_{i=1}^{m} (y_i - wx_i-b)^2.
m1?∑i=1m?(yi??wxi??b)2.最小化的过程，称为线性回归模型的“最小二乘参数估计”。
2. 在线性回归模型中，极大似然估计与最小二乘估计有什么联系与区别吗？
线性回归的最小二乘估计 <=> 噪声ε ~ N(0, δ2)的极大似然估计。
3. 为什么多项式回归在实际问题中的表现经常不是很好？
因为阶数越多，多项式曲线就会越光滑，在边界处有异常的波动，预测效果的稳定性下降。
4. 决策树模型与线性模型之间的联系与差别
线性模型的模型形式与树模型的模型形式有着本质的区别，具体而言，线性回归对模型形式做了如下假定：
f
(
x
)
=
w
0
+
∑
j
=
1
p
w
j
x
(
j
)
f(x) = w_0 + \sum\limits_{j=1}^{p}w_jx^{(j)}
f(x)=w0?+j=1∑p?wj?x(j)，而回归树则是
f
(
x
)
=
∑
m
=
1
J
c
^
m
I
(
x
∈
R
m
)
f(x) = \sum\limits_{m=1}^{J}\hat{c}_mI(x \in R_m)
f(x)=m=1∑J?c^m?I(x∈Rm?)。那问题来了，哪种模型更优呢？这个要视具体情况而言，如果特征变量与因变量的关系能很好的用线性关系来表达，那么线性回归通常有着不错的预测效果，拟合效果则优于不能揭示线性结构的回归树。反之，如果特征变量与因变量的关系呈现高度复杂的非线性，那么树方法比传统方法更优。
5. 什么是KKT条件
6. 为什么要引入原问题的对偶问题
References：
[1]: https://github.com/datawhalechina/ensemble-learning
[2]: https://www.zhihu.com/question/24095027/answer/794262860
[3]: https://zhuanlan.zhihu.com/p/361171616
[4]: https://zhuanlan.zhihu.com/p/26514613
|