[人工智能] 李宏毅深度学习笔记（二）—

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 李宏毅深度学习笔记（二）——后向传播（Backpropagation） -> 正文阅读

[人工智能]李宏毅深度学习笔记（二）——后向传播（Backpropagation）

Backpropagation解决的是在神经网络中如何有效率的进行Gradient?Descent算法的问题。更具体地说，假设将Loss?Function记为 $\L(\theta)$ ，其中 $\theta$ 为一个向量，表示所有的参数，那么 $L(\theta)$ 的梯度表示为

$\nabla L(\theta)=\begin{bmatrix} \frac{\partial L(\theta)}{\partial w_{1}}\\ \frac{\partial L(\theta)}{\partial w_{2}}\\ ...\\ \frac{\partial L(\theta)}{\partial b_{1}}\\ \frac{\partial L(\theta)}{\partial b_{2}}\\ ...\\ \end{bmatrix}$

Backpropagation就是快速计算 $\nabla L$ 的一种方法。

定义函数 $C^{n}(\theta)$ 为第n个预测值与真实值之间的距离函数，则Loss?Function可以表示为

$L(\theta)=\sum_{n=1}^{N}C^{n}(\theta)$

将 $\theta$ 中的某一个参数记为w， $C^{n}$ 简记为C，下面开始展示 $\frac{\partial C}{\partial w}$ 的计算过程。

如图所示是一个神经元，输入为 $x_{1}$ 和 $x_{2}$ ，令sigmoid函数的输入 $z=w_{1}x_{1}+w_{2}x_{2}+b$ ，则根据链式法则， $\frac{\partial C}{\partial w}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial w}$ .

?其中 $\frac{\partial z}{\partial w}$ 是容易得到的。若 $w=w_{1}$ ，则 $\frac{\partial z}{\partial w}=x_{1}$ ；若 $w=w_{2}$ ，则 $\frac{\partial z}{\partial w}=x_{2}$ ；否则 $\frac{\partial z}{\partial w}=0$ 。但是，计算 $\frac{\partial C}{\partial z}$ 需要考虑后面的运算对C带来的影响。

进一步地，令 $a=\sigma(z)$ ，我们可以得到 $\frac{\partial C}{\partial z}=\frac{\partial C}{\partial a}\frac{\partial a}{\partial z}$ ??。同样的， $\frac{\partial a}{\partial z}$ 可以由sigmoid函数求导得到，计算 $\frac{\partial C}{\partial a}$ 需要考虑后面的运算对C带来的影响。

于是我们考虑下一层神经元。假设这个神经元只与下一层的两个神经元的连接。在下一层中，经过同样的运算可以得到 ${z}'$ 和 ${z}''$ 。于是 $\frac{\partial C}{\partial a}=\frac{\partial C}{\partial {z}'}\frac{\partial {z}'}{\partial a}+\frac{\partial C}{\partial {z}''}\frac{\partial {z}''}{\partial a}$ 。

?观察这个式子，从图中易得 $\frac{\partial {z}'}{\partial a}=w_{3}$ ， $\frac{\partial {z}''}{\partial a}=w_{4}$ ，而 $\frac{\partial C}{\partial {z}'}$ 和 $\frac{\partial C}{\partial {z}''}$ 的求法与 $\frac{\partial C}{\partial z}$ 没有任何区别。于是我们考虑：能不能用递推的方法求出所有的 $\frac{\partial C}{\partial z}$ 呢？

答案是肯定的。通过以上的推导可以得到递推式

$\frac{\partial C}{\partial z}={\sigma}'(z)[w_{3}\frac{\partial C}{\partial {z}'}+w_{4}\frac{\partial C}{\partial {z}''}]$

?如果这层神经元不是最后一层，即不是output?layer，则用递推式计算；如果是output?layer，假设输出分别为 $y_{1}$ 和 $y_{2}$ ，则 $\frac{\partial C}{\partial {z}'}=\frac{\partial C}{\partial y_{1}}\frac{\partial y_{1}}{\partial {z}'}=\frac{\partial C}{\partial y_{1}}{\sigma}'({z}')$ ， $\frac{\partial C}{\partial {z}''}=\frac{\partial C}{\partial y_{2}}\frac{\partial y_{2}}{\partial {z}''}=\frac{\partial C}{\partial y_{2}}{\sigma}'({z}'')$ 。