[人工智能]水很深的深度学习笔记—————循环神经网络RNN篇

目录

计算图

RNN

计算图的引入为了更方便表示网络

现实生活存在很多序列化结构，需要建立更优秀的序列数据模型

文本、语音、视频、时态数据

RNN

RNN一般结构

x_t表示T时刻的输入，s_T表示记忆，O_t表示输出，U V W 是RNN网络的连接权重，b_s和b_o是RNN的偏置，

?LSTM（长短时记忆网络）

一个LSTM单元由输入门、输出门、遗忘门组成，三个门控制信息进出单元

?遗忘门? 对细胞状态信息遗忘程度的控制，输出当前状态的遗忘权重，

?输入门--实现细胞状态输入接受程度的控制，输出当前信息接受权重

?输出门--实现对细胞i状态输出认可程度的控制，输出当前输出信息的认可权重

?还有许多东西需要时间消化，后续继续补

参考链接

https://github.com/datawhalechina/unusual-deep-learning/blob/main/docs/5.CNN.md