Task05开始啦：
Task05：观看 2021版视频 视频 P5-9：网络设计的技巧（2天）截止时间 07月22日03:00
开源文档：https://datawhalechina.github.io/leeml-notes
视频地址：https://www.bilibili.com/video/BV11K4y1S7AD?p=5
（一）局部最小值与鞍点
gradient为零的点统称为critical point
局部最小值：local minima
鞍点：saddle point
loss没办法在下降也许是因为卡在了critical point
为什么要分辨？
如果是local minima 那可能就没有路可以走了，如果是saddle point 还是有路可以走的，使loss更低。
如何分辨到底是卡在local minima 还是 saddle point？
L (θ) loss function 在 θ‘ 附近的泰勒展开式，
其中 gradient是一个向量，弥补 θ‘ 和θ‘ 之间的差距；
hessian是一个矩阵，会补足加上gradient后与真正的L (θ) 之间的差距。
判断标准：
为了方便，将(θ - θ’)设为 v
只需要看H的 eigenvalue(特征值)的正负即可。
H的特征值全为正的时候 ，我们认为是 local minima
H的特征值全为负的时候 ，我们认为是 local maxima
H的特征值有正有负时候 ，我们认为是 saddle point
找出负的特征值（saddle point 特征值有正有负）顺着 u 的方向更新，就可以让loss变小。
此处推荐笔记
李宏毅2021春机器学习笔记 --7.类神经网络训练不起来怎么办（一）局部最小值与鞍点
（二）批次与批量
批次：batch
动量：momentum
两个有可能可以对抗 saddle point 或local minima 的技术。
Batch
拿一个batch的资料拿出来算loss，所有的batch 看过一遍叫一个epoch
shuffle（洗牌） 有很多不同的做法，常见的做法是在每一次epoch开始之前会分一次batch，每一个epoch的batch都不一样。
此处推荐笔记
李宏毅2021春机器学习笔记 --8.类神经网络训练不起来怎么办（二）批次与动量
（三）自动调整学习率
此处推荐笔记
李宏毅2021春机器学习笔记 --9.类神经网络训练不起来怎么办（三）自动调整学习率
（四）分类
（五）批次标准化
此处推荐笔记
李宏毅2021春机器学习笔记 --11.类神经网络训练不起来怎么办(五)批次标准化（Batch Normalization）