RNN
参考
RNN 解决了什么问题
- 即应用场景，RNN在处理有时序关系的输入的时候比一般的神经网络更具有优势，原因是一个句子中的前后往往是相联系的，而一般的神经网络只是将句子里的每个词分开来考虑，这样的话对句子这种有时序关系的输入是很不利的，而RNN就考虑了当前词的前面的信息，相对会好很多。
- 例子就参考一文搞懂RNN（循环神经网络）基础篇这篇的词性标注的例子
RNN的结构
- 相对FC，RNN多了一层支线——隐藏层的输出s会被权重矩阵 w保存下来，用于下一时刻和新的input一起输入，即上图中右侧公式a所示，本时刻输出的话就加一层softmax（这个可以自行根据任务选择）即可
- 我们将RNN按照时间序列展开就是这样
RNN的特点
- 串联结构，体现“前因后果”，即后面结果的生成需要参考前面的信息
- 所有特征共享参数：
- 减少参数量
- Seq2Seq
- 词不同和词序不同都能学对相应的不同的结果
RNN的损失函数
- 单个时间步的损失函数
- 这个可以根据不同任务而自定义
- 整个序列的损失函数
- 就是整个序列的时间步的损失求和
RNN的反向传播
-
我重新画了一下图公式还是上面的公式:
-
a < t > = W a x x < t > + W a a a < t ? 1 > + b a y < t > = s o f t m a x ( W y a a < t > + b y ) a^{<t>}=W_{ax}x^{<t>}+W_{aa}a^{<t-1>}+b_a\\ y^{<t>}=softmax(W_{ya}a^{<t>}+b_y) a<t>=Wax?x<t>+Waa?a<t?1>+ba?y<t>=softmax(Wya?a<t>+by?)
- 然后参照吴恩达老师的课（[双语字幕]吴恩达深度学习deeplearning.ai），把它按照时间序列展开：
- 实际上，上面Y<t+1>在BP的到a<t+1>的时候也会对w_aa做一个梯度
RNN的缺点
- 当序列太长，容易导致梯度消失
- 怎么理解？就类似于卷积网络深度过深（没有残差的情况），然后导致BP到前几层的时候梯度消失