目录
一、调试处理（随机-->合适范围内）
随机：
应用大一点的mini-batch会减弱正则化的作用
?合适范围内：
?现在在说明，为什么使用对数尺的方法，越靠近1，变化的影响的越大，所以靠近1的取值应该间隔小一点，远离1的数值之间的间隔取大一点
?
?
?如何组织搜索过程：
?
?
二、Batch归一化
?
?使得隐藏单元值的均值和方差标准化，就是某一层的z有一个固定的均值和方差
?下面是在深度网络训练中的匹配：
?为什么会起作用：
?
?batch归一化做的就是它减少了这些隐藏层分布变化的数量。
如果是绘制这些隐藏的单元值的分布，从2d的视角来看。即使z1、z2会改变，而的确也在改变，batch归一化能够使的z1、z2的均值和方差保持不变。即使z1和z2一直在变，batch归一化至少能够保证其均值为0，方差为1或者是由γ和βγ和β决定的值。
也就是它限制了在前层的参数更新会影响数值分布的程度。当前面参数改变了它使得后面的参数适应的程度减小了，或许你可以这样想，它减少了前层参数与后层参数之间的联系，使得网络每层都可以自己学习，稍稍独立与其他层，这将有助于加速整个网络的学习。
?batch还有一个作用，它有一个轻微的正则化的作用。
?
??
?
?三、Softmax回归
?
??
?
?
四、深度学习框架
?
?
?
作业
?
?