三言两语说机器学习系列文章目录
第一章 线性回归
前言
三言两语说机器学习。
检验掌握一个机器学习算法的最好方法是：当听到算法的名字就能有逻辑的讲出它的核心思想。
能用三言两语讲述一个机器学习算法，才真正get到了算法的核心。
为此，学习一个机器学习算法，我认为有以下几个步骤要完成：
1、算法的得名由来
2、算法的应用场景
3、用一个经典的例子描述算法*
4、代码实现*?
4、算法的描述
5、算法的一句话总结
提示：以下是本篇文章正文内容，下面案例可供参考
一、什么是线性回归
刻画变量之间关系的模型叫做回归模型。
如果模型是线性的，则为线性回归。
Linear Regression的得名由来。
线性回归最早是统计学家高尔顿研究父母身高与子女身高关系时提出的。
他发现父母平均身高只增加一个单位，成年子女的平均身高只增加0.516个单位，呈现一种衰退(Regression)效应。
此外，Regression可以形象的理解为大量数据回归到一条函数，线性回归是数据回归到一个线性函数。
二、线性回归的应用场景
当认为数据的特征变量(自变量)和目标变量(因变量)可能存在某种规律时，如果是线性关系，则可以使用线性回归。
经典例子：
波士顿房价预测。
三、算法描述
线性回归的基本形式：
向量形式：
, 其中
。
损失函数：最小二乘法，即均方误差(Mean Square Error, MSE)最小化。即
。
参数估计：找到线性回归模型的最佳参数w和b的过程，最佳参数即使得MSE最小的w和b。
正则化：通过将系数估计朝0的方向约束和调整，降低模型学习过程中的复杂度和不稳定性，从而避免过拟合情况。
常见的正则化方法有：L1正则化和L2正则化。
正则化的实现方法：建立一个带有惩罚项的损失函数。
总结
一句话总结线性回归算法。
线性回归算法是用线性函数或线性模型来拟合特征变量和目标变量之间的关系，从而根据特征变量预测目标变量的一种机器学习算法。