一、BP神经网络—从推导到实现
1 BP神经网络结构
BP神经网络是一个非常经典的网络结构。整个网络结构包含了：一层输入层，一到多层隐藏层，一层输出层。它既可以处理线性问题，也可以处理非线性问题。学习过程由信号的正向传播和误差的反向传播两个过程组成。我们可以利用误差反向传播算法进行迭代，使误差逐渐减少到我们的接受范围内。
2 算法原理
2.1 网络结构
输入层——神经网络中的第一层。它需要输入信号并将它们传递到下一层。它不对输入信号做任何操作，并且没有关联的权重和偏置值。
隐藏层——除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号。隐藏层在神经网络中的作用：中间的黑盒子，可以认为是不同功能层的一个总称。
输出层——网络的最后一层，它接收来自最后一个隐藏层的输入，输出模型预测的结果值。
2.2 正向传播
就是结构图从左到右的运算过程。
正向传播就是让信息从输入层进入网络，依次经过每一层的计算，得到最终输出层结果的过程。
把小圈圈叫做神经元，是组成神经网络的基本单元。
上一层的输出数据作为小圈圈的输入数据，先加权求和加偏置b，然后代入激活函数f(x)计算，结果输出。
正向传播就是输入数据经过一层一层的神经元运算、输出的过程，最后一层输出值作为算法预测值y’。
2.3 反向传播
BP神经网络全称 back propagation neural network，那back propagation反向传播是什么？
反向传播的建设本质上就是寻找最优的参数组合，和上面的流程差不多，根据算法预测值和实际值之间的损失函数L(y’,y)，来反方向地计算每一层的z、a、w、b的偏导数，从而更新参数。
对反向传播而言，输入的内容是预测值和实际值的误差，输出的内容是对参数的更新，方向是从右往左，一层一层的更新每一层的参数。
BP神经网络通过先正向传播，构建参数和输入值的关系，通过预测值和实际值的误差，反向传播修复权重；读入新数据再正向传播预测，再反向传播修正，…，通过多次循环达到最小损失值，此时构造的模型拥有最优的参数组合。
3 实现
3.1 实施步骤
1）初始化网络中的权值和偏置项
初始化参数值(输出单元权值、偏置项和隐藏单元权值、偏置项均为模型的参数)，是为激活前向传播，得到每一层元素的输出值，进而得到损失函数的值。参数初始化，可以自己设定，也可以选择随机生成；一般情况下，自己写代码或者调用tensorflow或keras时，都是随机生成参数。因为初始参数对最终的参数影响不大，只会影响迭代的次数。
2）激活前向传播，得到各层输出和损失函数的期望值
在步骤1的基础上，激活前向传播，得的值，进而得到的值；其中的计算，根据前面模型设定中的公式计算。计算这些值是为计算步骤3中的误差项。
3）根据损失函数，计算输出单元的误差项和隐藏单元的误差项
计算各项误差，即计算参数关于损失函数的梯度或偏导数，之所以称之为误差，是因为损失函数本身为真实值与预测值之间的差异。计算参数的偏导数，根据的是微积分中的链式法则。
注意: 对于复合函数中的向量或矩阵求偏导，复合函数内部函数的偏导总是左乘；对于复合函数中的标量求偏导，复合函数内部函数的偏导左乘或者右乘都可以。
4） 更新神经网路中的权值和偏置项
更新神经网路中的权值和偏置项。学习率自己设定，学习率太大，容易跳过最佳的参数；学习率太小，容易陷入局部极小值。
5） 重复步骤2-4，直到损失函数小于事先给定的阈值或迭代次数用完为止，输出此时的参数即为目前最佳参数。
设定阈值e或者设定迭代次数，当损失函数值小于阈值e时，或当迭代次数用完时，输出最终参数。
实例编程实现（python语言）
（此处只展示核心代码）
正向传播：
反向传播：
完整代码链接
提取码：d2pu
参考：
https://www.jianshu.com/p/9037890c9b65