《机器学习》5.13公式推导
对BP(Back Propagation)神经网络前传和误差反向传播的概述和理解
前向传播时通过对单个训练样本得到最终输出值以及输出值与实际值之间的损失值，如果损失值不在给定的范围内(误差越大，说明模型越差)则进行反向传播的过程; 否则停止权重值W和偏置项的值b的更新。而后将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元，从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。此处原理是反向传播通过对链式函数构成的误差函数的梯度下降，在将这个误差从输出层向隐藏层传播的过程中，对每个权重进行更新，直至传播到输入层。 各个权重在不断迭代的反向传播过程中得以调整，直至收敛。
此时仅仅是对单个训练样本进行了反向传播，接下来对剩余其他的训练样本同样进行一次反向传播，记录下每个样本想要怎样修改权重和偏置，最后取平均值。使得训练得到的模型更适用于普通样本，但不可避免过拟合现象。