第一章线性回归
1、线性回归问题
目的：令工资为x1，年龄为x2，标签为y即额度，求出θ1和θ2即可求出方程。
2、误差项定义
θ0可以使得求得的线或者平面上浮或下降。
θ0没有x0以至于无法凑成矩阵形式。自己构造x0，里面数据都为1，处理完等于本身。
添加完x0之后，就转化成一种矩阵形式。
y（i）是真实值，而θ和x组成的称之为预测值，预测值和真实值之间的称为误差。
希望误差项越小越好。
3、独立同分布
4、极大似然估计
由于误差服从高斯分布，那个式子里面均值是为0，所以得到第二行的式子。
这个高斯分布是关于误差项的，但是我们要求的是θ，而不是误差，所以转换一下，将一式θx左移，得yi-θxi=误差，而误差满足二式，将其代入后，可得三式。
似然函数不管求L（θ）还是求Log L(θ) ，加个对数是为了方便计算，原来是累乘改成累加，我们要求的是θ，而不是结果值。
我们要求的只和θ有关，其他都是常数项，log这里我们可以假设以e为底，exp就是e指数的意思，以e为底的log（e的x次方）= x
所以上面的直接落下来。
5、梯度下降
可以比作是下山问题，首先确定方向，比如下图这个黑点一开始演虚线箭头方向。接下来确定走的步伐，不能走太大，沿此方向走太大，直接摔悬崖了，走完再确定方向，再走。
6、参数更新方法
x0和x1无关，于是得θ0和θ1必定无关，所以我们可以分别找θ0合适的方向、θ1合适的方向，然后再综合一下往那个方向，找方向就是求偏导的意思。
批量梯度下降，求的是所有样本平均的梯度下降，假如m很大 若为100w，更新一次参数，要求100w次结果。
注意看随机梯度下降，直接拿下来，不用求那么多次，但有可能有离群点噪音点。
小批量梯度下降，综合上述两个方法：
有一个batch，这个batch有可能是64,256，等等等等这是个人设置，batch选择越大，说明越精确，但速度越慢。
第五章逻辑回归原理推导
就好比这个5对应上去的0.95，你会说他是属于1这个类别，而不是0这个类别。
sig函数非线性变换函数，通过这个转变，可以将一个值转换成概率。
依赖sigmoid函数：由值到概率的问题
如上，令Z=θT x
第十一章 决策树原理
1、决策树算法概述
