Lecture 5 神经网络训练不起来（1）
- Training loss不再下降，怎么判断是local minimal还是saddle point
（Local minimal不能再走，saddle point可以再降）
先用tylor expansion把loss function在' 展开到二阶，一阶梯度为0，看hessian矩阵的正定负定
?
Example：
?
2. 如果是鞍点怎么继续优化呢？找到负的特征值，向对应的特征向量方向移动可以使loss function减小，但是通常不会用，因为特征值难算（？）
3. Saddle point和local minimal关系：
可能local minimal在更高维的空间是saddle point
Local minimal没有那么容易到达
如下图，横轴代表正特征根的比例，在training loss很小的时候依然有一半特征根是负的
Lecture 5 神经网络训练不起来（2）
Batch and momentum
Batch 每次训练不会用所有的data，每次拿一块算gradient
如果把准备训练数据比喻成一块准备打火锅的牛肉，那么epoch就是涮完整块牛肉，batch就是切片后的牛肉片，iteration就是涮一块牛肉片，shuffle，重新切片
为什么用batch？full batch & batch size=1
?
左边技能冷却时间长，右边输出不稳定（？）
但实际上lager batch耗费时间不会长很多，反而小的batch因为update次数多可能时间也会长
Batch size越大accuracy越低，不是过拟合问题也不是tradeoff问题，是大的batch size存在optimization fails（？）小batch 每次的loss function不一样
Testing data时候会有overfitting
?
Momentum（类似利用惯性）
不只向gradient的反方向移动，还要加上前一步的方向
?
Lecture 5 神经网络训练不起来（3）
Adaptive learning rate
多数training在没有走到critical point就已经卡住了，Loss 不再下降不一定是gradient很小，可能是
- 因此需要根据情况调整learning rate，在平坦的地方大一点，陡峭的地方小一点
- 但是这种方法同一个参数的learning rate就会基本一样，但实际上一个参数也需要不同lr，所以要给g_i加上权重 即RMSProp
?
?
3. 需要learning rate随t变化，使得在靠近optimal的过程中步长变小
先增大后减小（warm up）因为一开始方差比较大
?
L4L5的内容之后会更新?
?
?
?
?
?
?