[人工智能]神经网络之误差反向传播算法推导

原理

误差反向传播算法是通过误差函数计算实际输出值与期望输出值之间的误差，把误差从最后的输出层依次传播到之前各层，最后通过调整各层连接权重与偏置达到减小误差的目的。而权重和偏置的调整一般使用梯度下降法。

推导前的准备

本文误差反向传播算法的推导以包含隐藏层的多层感知器为例，结构如下图所示：

这里，图中和推导过程中涉及的符号代表的含义分别为：

这里，误差函数采用最小二乘误差函数，公式如下：
$$E=\sum _{n=1}^N||r_n?y_n|{|}^2$$
激活函数使用sigmoid函数，公式如下：
$$f(u)=\frac{1}{1+e^{?u}}$$其中，
$$u=\sum _{i=1}^N{w}_i{x}_i+b$$

开始推导

首先，再明确一下我们的目的是计算使用梯度下降法时神经网络各层间连接权重和偏差的变化值，即$\Delta w_{1ij},\Delta w_{2jk},\Delta b_j^2$等值。
这里，计算过程以求解$\Delta w_{1ij}$为例，其它值类似，而
$$\Delta w_{1ij}=\eta \frac{\delta E}{\delta w_{1ij}}$$
根据链式求导得：
$$\frac{\delta E}{\delta w_{1ij}}=\sum _{k=1}^q(\frac{\delta E}{\delta y_k}\frac{\delta y_k}{\delta u_{2k}}\frac{\delta u_{2k}}{\delta a_j}\frac{\delta a_j}{\delta u_{1j}}\frac{\delta u_{1j}}{\delta w_{1ij}})$$
然后逐个对等式右侧各部分求解得：
$$\frac{\delta E}{\delta y_k}=?(r_k?y_k)$$
$$\frac{\delta y_k}{\delta u_{2k}}=f(u_{2k})(1?f(u_{2k}))=y_k(1?y_k)$$
$$\frac{\delta u_{2k}}{\delta a_j}=w_{2jk}$$
$$\frac{\delta a_j}{\delta u_{1j}}=a_j(1?a_j)$$
$$\frac{\delta u_{1j}}{\delta w_{1ij}}=x_i$$
最后得：
$$\frac{\delta E}{\delta w_{1ij}}=?\sum _{k=1}^q[(r_k?y_k)y_k(1?y_k)w_{2jk}{a}_j(1?a_j)x_i]$$
因此，权重$w_{1ij}$得变化值为：
$$\Delta w_{1ij}=\eta \sum _{k=1}^q[(r_k?y_k)y_k(1?y_k)w_{2jk}{a}_j(1?a_j)x_i]$$
根据上述计算过程可以发现，权重的变化值的组成依次为：学习率、误差函数导数、激活函数导数、对应连接权重、激活函数导数和输入值，根据这个规律可以快速写出各层权重和偏差的变化值，例如：
$$\Delta w_{2jk}=\eta \sum _{k=1}^q[(r_k?y_k)y_k(1?y_k)aj]$$
$$\Delta b_j^2=\eta \sum _{k=1}^q[(r_k?y_k)y_k(1?y_k)w_{2jk}{a}_j(1?a_j)]$$

小结

误差反向传播算法会通过误差函数计算梯度，然后调整权重与偏置，经过反复迭代训练的调整，最终获得最优解。
本文在推导过程中使用的误差函数为最小二乘误差函数，除此以外还有很多其它函数用于计算误差，比如一般多分类问题中使用交叉熵误差函数：
$$E=?\sum _{c=1}^C\sum _{n=1}^N{r}_{cn}ln{y}_{cn}$$
二分类中的常用的误差函数为：
$$E=?\sum _{n=1}^N[r_{n}ln{y}_n+(1?r_n)ln(1?y_n)]$$
同时，激活函数除sigmoid外还有tanh、ReLU等函数：
$$tanh(u)=\frac{exp(u)?exp(?u)}{exp(u)+exp(?u)}$$
$$ReLU(u)=max(u,0)$$