循环神经网络（RNN）
循环神经网络中的激活函数多采用双曲正切函数tanh,而不是relu.循环神经网络中的第一步不像后面那样，有上一个输出返送回来的数据一起作为输入，但为了保证每一步操作的统一性，我们一般也会手动的添加一个共同的输入（a0）。比如一个全0的向量
?我们这句话有4个词，第一个词向量x1和a0一起输入，得到一个输入a1，当然对于一个分类问题，我们不需要最后的预测输出。所以我们把输出部分删除，只保留激活值a1。然后第二个词向量x2和a1一起输入，得到第二个输出a2，同样不需要预测输出，只保留激活值a2。
这样画出的两个图是在时间上的行为并不是空间上的行为。
同样第三个词向量x3和a2一起输入得到第三个输出a3，x4和a3得到a4。
?红色就是前向传播的过程，蓝色是反向传播的过程。
循环神经网络可以在一定程度上，应对这种在时间上有依赖的序列问题。
?
?
?第一步，拿出句子的第一个词向量x1,和aL1_0合并输入第一层得到输出aL1_1，aL1_1作为第二层的输入，和第二层的aL_0合并输入第二层，得到第二层的输出aL2_1,第二步，拿出句子的第二个词向量x2，和上一层保存的aL1_1合并输入第一层。以此类推。
举个例子，上海电视台记者在北京街头采访了一名来自四川的年轻人，他性格开朗，热爱生活。他的家乡有一种著名的动物叫做——（? 熊猫 ）
但是四川这一词，距离后面非常远，换句话说依赖的路径十分的长，标准的RNN结构在这种“长依赖”问题上表现并不是非常好。为解决此问题。最著名的解决方法——LSTM，长短时记忆法发，并不复杂，可以把这个过程看作是在玩一个小孩搭积木的游戏。
?
?