一、主要应用领域：

????????计算机视觉方面差不多均可，分类与检索、检测与追踪、超分辨率重构、医学任务、无人驾驶等等

????????GPU处理速度快于cpu

二、卷积神经网络和传统神经网络的区别

????????左：NN????? 一维层面???

????????右：CNN?? 三维层面

????????二者数据格式便不同

三、CNN整体架构:

????????输入层：和NN输入一样，唯一不同是数据形式不同

????????卷积层：将图像分为不同的小区域，每个小区域对应一个权值系数矩阵，二者相互作用后得到该区域特征值，众多特征值组合在一起形成一个特征图。起到提取特征的作用。

????????卷积特征值计算方法：

????????Ⅰ：不同图层所选区域对应不同的权值参数矩阵，其计算方式为对应位置乘积相加，每个图层结果相加得一结果

????????Ⅱ：步骤Ⅰ计算结果加上偏置项（Biasb0）得到该区域的特征值

????????Ⅲ：对应区域移动一定步长，根据权重参数矩阵分别结算每一区域的特征值，计算方式如上，最终得到一特征图

????????Ⅳ：若选择了多个Filter，即可得到多张特征图

????????堆叠的卷积层：（在得到特征图的基础上做运算）

????????滑动窗口步长：（一般为1）

????????步长大小与计算速度有关系，步长越小，所得特征图越大，所做计算次数越多，一般为1

????????卷积核尺寸：所选区域大小，一般取3*3即可

????????边缘填充：在一定程度上弥补边界特征不被重视的点，一般填充一圈0，或者两圈0都可以，可以自定义

????????卷积核个数：即特征图个数，即filter个数

????????卷积计算结果：（特征图长宽以及个数）

????????卷积参数共享：对每个区域都是采用相同的卷积核进行计算，以防参数过大，同时也可以避免过拟合效果态太明显。（卷积参数计算的时候别忘记偏置参数）

????????池化层：降维的作用，将特征值筛选一部分

????????最大池化：（仅选取最大特征值，因为其和结果相关性最强）

????????平均池化：将特征值加起来在平均（不常用，作用不如最大池化效果强）

四、整体网络架构

????????CONV：卷积层

????????RELU：激励函数（非线性变化）

????????POOL：池化层

????????FC：全连接层

????????神经网络层数：仅与带参数计算的有关，即卷积层与全连接层，由上共7层

????????在最后一轮池化层后需要注意的是，此时维数并不一定是一维，因此需要转化为一维特征向量（可长）。随后与全连接层进行作用得到概率值

????????特征图变化：

五、经典卷积神经网络

????????Alexnet:12年（存在诸多缺点）

????????Vgg:14年

????????Vgg：存在诸多版本，很有意思的就是他在经过最大池化后，将特征图进行翻倍处理以弥补损失的特征值

????????还有一个就是神经和网络层数为16，其并非越多越好

????????Vgg其训练时长与Alexnet相比时间更长

????????感受野：一个点所能感受到原始区域的大小

????????那为什么不直接使用一个7*7的卷积层呢？（理由如下，从参数入手）

????????很明显，堆叠小的卷积层所需要参数更少，并且卷积过程越多，其特征提取也更细致，所加入的非线性变换也更多（RELU函数），还不会增大权重参数的个数，这就是Vgg网络的基本出发点，用小的卷积核 完成特征提取的操作。

????????Resnet：15年底（解决了可以增加深度的方式）

????????其核心思想就是增加了一项用来进行”保底“的组件，当某一卷积层效果并不好时，将其前一层和后一层直接连接起来，忽略掉当前处理效果不好的层，紧接着进行接下来的卷积处理。

处理效果：

????????经典网络效果对比：

????????在进行实验时我们可以直接选用经典神经网络模型，因为其效果已经很不赖了。

????????在这里我们建议将这些网络仅作为用来进行特征提取的工具，因为究竟是用来分类还是用来回归，取决于你的损失函数以及怎么连接，因此我们可以发现这些网络可以作用于众多领域。