看书的时候感觉这些公式前后有些相似度较高，所以放一起比较看看差别在哪。顺便也整理一下。
- 线性回归。
?????????最小二乘法的回归曲线 fθ(x) 和目标函数 E(θ)。?
????????
? ? ? ? ?标准化（z-score规范化）μ 是均值，σ 是方差。?
????????
- 多项式回归。
?????????最速下降法（梯度下降法）。
????????
? ? ? ? ?多重回归，换成矩阵相乘而不必使用循环遍历。
????????
?
? ? ? ??
????????
????????
? ? ? ? ?均方误差。
????????
? ? ? ? 这个看起来跟回归的目标函数很像，书本有描述。
- ?随机梯度下降法。
????????
? ? ? ? 小批量梯度下降法。
????????
?
- 感知机，判别函数 fw(x) 和更新表达式（括号里面是判别标签和实际标签）。
????????
????????
?????????权重向量 ω 和 直线 χ 的内积，和权重向量 ω?是 χ 法线向量的直线方程。
????????
- ?逻辑回归。
? ? ? ? sigmoid函数。?
????????
? ? ? ? 似然函数，参数更新表达式。
????????
????????决策边界
????????
?
- 线性不可分的决策边界。
????????
- 模型评估
? ? ? ? 精度?Accuracy。
????????
? ? ? ? 精确率，TP 是 + （Positive）标签被正确分类的 + 标签。FP 是 - （Negative）标签被错误分类为 + 标签。
????????
? ? ? ? ?召回率，FN 是 + 标签被错误分类为 - 标签。
????????
? ? ? ? F值，F1值，调和平均值。
????????
? ? ? ? 带权重的F值，上面的为下面公式权重为 1 时的特例。
????????
? ? ? ? K折交叉验证。
????????
? ? ? ? 令 K = 4，四折交叉验证。
?????????
- 正则化
? ? ? ? L2正则化。
? ? ? ? 
??
? ? ? ? 回归正则化。?
????????
? ? ? ? 分类正则化。
? ? ? ? ?负号解释。
? ? ? ? 加入正则化后的更新表达式。
????????
? ? ? ? L1正则化。
????????
?