[人工智能]机器学习笔记：反向传播

1 共享路径

对于每一个可学习的参数w，我们都需要通过梯度下降更新它的值。而我们可以使用反向传播的思路来求解损失函数在某一个参数上的loss

?

如上图所示，可以用如下方式运算?

可以发现 ，上图红色圈起来的部分是共享的

2 使用反向传播的条件

1，链式法则成立（任何时候都成立）

2，计算图无环

2.1 链式法则

3 forward pass VS backward pass

根据链式法则，C对w的偏导数可以分为前向pass和后向pass

?3.1 forward pass

结果就是相应的input x的值

?

3.2 backward pass

backpass 又可以分成两项：

前一项就是我们相对应的激活函数的微分

?如果a被作为input，输入到了w3和w4两个neuron中，那么根据链式法则，有上面一行

?

综合一下有：?

?

?4?反向的前馈神经网络思考反向传播

?对于这个，我们可以想成反向的前馈神经网络：

?????

?

?

?