目录
一、神经网络的梯度下降
正向传播的方程：
反向传播方程：
二、随机初始化
如果你要初始化成
0
，由于所有的隐含单元都是对称的，无论你运行梯度下降多久，他 们一直计算同样的函数。这没有任何帮助，因为你想要两个不同的隐含单元计算不同的函数， 这个问题的解决方法就是随机初始化参数。
?初始化如下：
这里的0.01是为了使得产生的随机数数值小一点，避免数值太大梯度下降很慢，学习变慢。当然，也可以选择其他的相对小的书值，并不一定必须是0.01。
三、深层神经网络
神经网络的层数是这么定义的：
从左到右，由
0 开始定义。当我们算神经网络的层数时， 我们不算输入层，我们只算隐藏层和输出层。
前向传播步骤，输入
![a^{[l-1]}](https://latex.codecogs.com/gif.latex?a%5E%7B%5Bl-1%5D%7D)
，输出
![a^{[l]}](https://latex.codecogs.com/gif.latex?a%5E%7B%5Bl%5D%7D)
：?
其中
![A^{[0]}](https://latex.codecogs.com/gif.latex?A%5E%7B%5B0%5D%7D)
就是样本的输入特征X。
反向传播步骤，输入为，输出为
，
，
?最后给出的整体流程如下图：
四、矩阵的维数
向量化后
五、参数VS超参数
超参数实际控制了最后的参数W和b的值，比如如算法中的 learning rate??（学习率）、iterations(梯度下降法循环的数量)、L（隐藏 层数目）、
?（隐藏层单元数目）、choice of activation function（激活函数的选择）
寻找超参数的最优质走 Idea—Code—Experiment—Idea 这个循环，尝试各种不同的参数，实现模型并观察是 否成功，然后再迭代。
??