一、定义：
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
二、经典的神经网络结构
1、残差网络(Residual Networks/ResNet)
2、循环神经网络 (Recurrent Neural Network/RNN)?
3、长短期记忆网络(Long Short Term Memory Network/LSTM)
4、卷积神经网络 (Convolutional Neural Network/CNN)?
5、反卷积神经网络(Deconvolutional Neural Network/DNN)
6、生成对抗网络(Generative Adversarial Network/GAN)
7、自动编码器(Auto Encoder/AE)
三、神经网络层
与人的神经元之间进行神经冲动的传播形式类似，神经网络也是一个处理单元连接另外一个处理单元，每一个处理单元称为一个层，通过不同种类的层之间相互堆叠，形成了一个完整的、能够实现一定功能的复杂网络。超过三层的非线性神经网络都可以被称为深度神经网络。
四、常用的神经网络层
1、卷积层
??????负责提取图像中的局部特征??
2、全连接层
????????全连接层的每一个节点都和上一层所有的节点相连，从而把之前提取到的特征综合起来。
3、池化层
????????用来大幅降低参数量级(降维)
五、神经网络相关术语
1、神经元：
???????它包括输入信号、加权求和、加偏置项、激活函数、输出信号5个部分，见下图：
?神经元模型可以使用以下公式表达，其中输入信号x是一个m维向量，m表示记录的特征数量，向量x各个维度上的分量即对应特征的值。权重w也是一个m维向量，b为偏置项，输出信号y是一个值：
2、多层连接：
????????大量节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。
3、前向计算：
????????从输入计算输出的过程，顺序从网络前至后。
4、计算图：
???????? 以图形化的方式展现神经网络的计算逻辑又称为计算图