目录
0.回归的定义
回归（Regression）是监督学习中的一种任务，指找到一个函数function，函数的输出结果是一个数值。
1.回归的建模方法
上一章中已经介绍过，机器学习的实现分三步：model、goodness of function、pick the best function。回归任务建模的基本步骤是同样的，在这里我们概括为模型假设、模型评估、筛选最优模型。
2.线性模型
?线性模型（Linear model）可以表示为：
其中就是各种特征，
指各个特征的权重，b为偏移量。
3.损失函数
损失函数是用来衡量实际与测试结果偏差的函数。定义损失函数：
根据线性模型的函数表示，代入可得：
下图中每一个点代表着一个模型对应的??和?
?，颜色越深，模型更优。
4.梯度下降
找出model一系列函数中最符合的函数（损失函数最小的function），实际上是确定??和?
?的值。
梯度下降算法求解的步骤：
1.随机选取一点
2.在该点处求微分，也就是当前的斜率
根据斜率来判定移动的方向：斜率大于0则向右移动，小于0向左移动
3.根据学习率（步长）移动
重复步骤2和步骤3，直到找到最低点。
5.过拟合
在训练集上面表现优秀的模型，可能在测试集上的效果反而变差，这就是模型在训练集上过拟合的问题，出现过拟合问题也就说明模型的泛化能力弱。
如何解决过拟合问题呢？
（1）输入更多数据寻找新的规律
（2）考虑加入更多的特征
（3）加入正则化（Regularization）