本次学习笔记主要记录学习深度学习时的各种记录，包括吴恩达老师视频学习、花书。作者能力有限，如有错误等，望联系修改，非常感谢！
改善深层神经网络：超参数调试、正则化以及优化（一）- 深度学习的实践层面
- 一、训练/验证/测试集(Train/Dev/Test sets)
- 二、偏差/方差(Bias/Variance)
- 三、机器学习基础(Basic Recipe for Machine Learning)
- 四、正则化(Regularization)
- 五、为什么正则化有利于预防过拟合(Why regularization reduces overfitting?)
- 六、dropout正则化(Dropout Regularization)
- 七、理解dropout(Understanding Dropout)
- 八、其他正则化方法(Other regularization methods)
- 九、归一化输入(Normalizing inputs)
- 十、梯度消失/梯度爆炸(Vanishing/Exploding gradients)
- 十一、神经网络的权重初始化(Weight Initialization for Deep Networks)
- 十二、梯度的数值逼近(Numerical approximation of gradients)
- 十三、梯度检验(Gradient checking)
- 十四、梯度检验应用的注意事项(Gradient Checking Implementation Notes)
第一版???????2022-05-16????????初稿
一、训练/验证/测试集(Train/Dev/Test sets)
训练神经网络时，我们做出很多决策，如：
神经网络分多少层、每层含有多少个隐藏单元、学习速率、各层采用哪些激活函数。
首先要有idea，然后去编码，最后运行测试。
自然语言、视觉、语音、结构化数据（广告、搜索、安全、物流）
假设一训练数据，用长方形表示。
在训练集和测试集分布不匹配的情况下进行训练，假设要构建一个用户可以上传大量图片的应用程序，训练集是网络上抓下来的图片，测试集训练集是用户上传的图片。
要确保验证集和测试集的数据来自同一分布，测试集可没有，其目的是对最终所选定的神经网络系统做出无偏评估。
训练验证集和测试集能够加速神经网络的集成，也可以更有效的衡量算法的偏差和方差。
二、偏差/方差(Bias/Variance)
1.欠拟合 2.适度拟合 3.过拟合
三、机器学习基础(Basic Recipe for Machine Learning)
如果偏差较高，可以试着评估训练集或训练数据的性能，若真的很高无法拟合就要选择一个新网络（比如含有更多隐藏层或隐藏单元的网络或花更多时间训练网络）。
为了评估方差，查看验证集性能，能从一个性能理想的训练集推断出验证集的性能也理想不。方差高，最好解决方法采用更多数据，无法获得时，尝试通过正则化减少过拟合。
四、正则化(Regularization)
过拟合高方差，正则化或更多数据。
上图方法为L2正则化（更倾向）和L1正则化（L1至少不是为了压缩模型）
这个矩阵范数（即平方范数），被称为“弗罗贝尼乌斯范数”，用下标F表示，也可以下标2表示L2正则化但通常用F。L2范数正则化也被称为“权重衰减”
五、为什么正则化有利于预防过拟合(Why regularization reduces overfitting?)
代价函数J，含有参数w和b，是损失总和，添加正则项，可避免数据权值矩阵过大。
为什么压缩L2范数或弗罗贝尼乌斯范数或参数可减少过拟合？
拉姆他设置过大则权重矩阵w被设置为接近于0的值。我们尝试消除或至少减少许多隐藏单元的影响，最终网络变得简单。
直观上看像是大多隐藏单元被消除，实际上是该神经网络的所有隐藏单元依然存在。
如图双曲激活函数tanh，只要z非常小。根据图中w和z的公式，发现w小那么z就会小，每层几乎都是线性的，和线性函数一样。
若每层都是线性的，那么整个网络就是一个线性网络，即是一个非常深的深层网络，因具有线性激活函数的特征，最终我们只能计算线性函数。因此，它不适用于非常复杂的决策以及过度拟合数据集的非线性决策边界。
六、dropout正则化(Dropout Regularization)
dropout(随机失活)，它复制左边的网络，遍历网络的每一层，并设置消除神经网洛中节点的概率。
设置节点概率后，删掉从该节点进出的连线，最后得到一个节点更少、规模更小的网络，然后用backdrop方法进行训练。
3层网络做说明：
keep-prob是一个具体数字
接下来从第三层中获取激活函数，若有50单元则意味着最后有10个单元被删除
测试阶段训练数据集，
七、理解dropout(Understanding Dropout)
dropout可以随机删除网络中的神经单元。dropout将产生收缩权重的平方范数的效果。
八、其他正则化方法(Other regularization methods)
扩增训练数据来解决过拟合。
early stopping表示提早停止训练，其主要缺点是不能独立的处理这两个问题。优点是只运行一次坡度下降，可找出w的较小值、中间值和较大值，无需尝试L2正则化超级参数λ的很多值。
机器学习包括及部分，其中一步是选择一个算法来优化代价函数，如梯度下降，还会介绍Momentum、RMSprop和Adam。
原理有时被叫做正交化（Orthogonalization）
九、归一化输入(Normalizing inputs)
归一化输入需要两个步骤，
1.零均值化，
2.归一化方差。
回想右上角代价函数，如图左为未归一化，右为归一化。
十、梯度消失/梯度爆炸(Vanishing/Exploding gradients)
假设训练如图极深的神经网络，此网络会含有l个w[]。用线性激活函数，忽略b，令b[L]=0。
十一、神经网络的权重初始化(Weight Initialization for Deep Networks)
不要b，sqrt(该层每个神经元的特征数量分之一)
relu函数则为分之二
十二、梯度的数值逼近(Numerical approximation of gradients)
梯度检验，作用是确保backprop正确实施。
十三、梯度检验(Gradient checking)
为了执行梯度检验，首先把所有参数转换成一个巨大的向量数据。
check后公式，分母只是用于预防这些向量太小或太大。
十四、梯度检验应用的注意事项(Gradient Checking Implementation Notes)
1.不要在训练中使用梯度检验，只用于调试
2.如果算法的梯度检验失败，要检查所有项，并试着找出bug
3.实施梯度检验时，注意正则化
4.不能与dropout同时使用
可以做，在随机初始化过程中，运行梯度检验，再训练网络
