第二部分：卷积神经网络
CNN是针对图像领域任务提出的神经网络，经理数代人的发展，在2012年之后，大部分图像识别任务都被CNN同志，分类、分割、检测、检索等
猫的视觉系统实验的结论：
1、神经元存在局部感受区域，也成为感受野。
2、细胞对角度有选择性。
3、细胞对运动方向有选择性。
由猫的视觉实验对卷积神经网络的启发：
1、视觉系统是分层、分级的进行处理，从低级到高级的抽象过程。（堆叠使用卷积和池化）
2、神经元实际上是存在局部感受区域的，具体来说就是局部敏感。（神经元局部连接）
第一个CNN雏形------新认知机（Neocognitron）
第一个大规模商用CNN------ Lenet-5
第一个震惊四方的CNN------ AlexNet
卷积层：
图像识别的特点
1· 特征具有局部性
比如说老虎和猫的区别在于“王”仅出现在头部区域。只需要观察图片的某个区域就可以完成图像分类的任务。
2· 特征可能出现在任何位置。
3· 下采样图像，不会改变图像目标。（下采样就是降低图片的分辨率）
针对第一个特点：特征具有局部性
如下图所示，卷积每次仅连接小块区域，这个区域的大小就是卷积核尺寸。左边是全连接，右边是局部链接，右边的参数量比左边减少了10000倍。
针对第二个特点：特征可能出现在任何位置
卷积核参数重复使用（参数共享），在图像上滑动，如下图所示，蓝色图像进行一次卷积后变成绿色图像。
Kernel（卷积核）：具有学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图（feature maps）。?下图是人工设计的卷积核。
?大家看上数第二张图，可以发现，每经过一次卷积，图像的像素就会缩小2，为了使卷积后图像分辨率不变，引入“填充”这一概念：在输入图像周围添加额外的行和列，当然，每次卷积不一定只缩小2像素，这个缩小量取决于步幅。那么什么是步幅呢，看下图：
步幅就是卷积核每一次滑动的行数或列数，步幅控制了输出特征图的大小（会被缩小1/S倍）。
关于彩色图像的多通道（RGB）卷积，可以理解为分别进行三次卷积，然后再相加。这里的卷积核就变成3D张量。如下图：
池化层：
描述下采样、上采样和池化的概念：
下采样：下采样图像，不会改变图像目标，为的是降低计算量，减少特征冗余。
上采样：简单的理解就是把图片进行放大了。在算法中，在我们做图像识别过程中，需要对图像进行像素级别的分类，因此在卷积提取特征后需要通过上采样将feature map 还原到原图中。
池化：一个像素表示一块区域的像素值，降低图像分辨率。如下图所示，池化常见的两种方法，取最大值和取平均值，用最大值或平均值代替这一块区域的像素值。··????????
?（现在很少使用池化操作，因为池化只是为了降低图片分辨率，所以可以通过一个步长为2的卷积操作来替代池化操作）
Lenet-5：
?
