1.对于普通的多层神经网络，只有一个全连接层
而对于图像的处理，往往是rgb三个参数，即有三维，数据量太大，多层神经网络不能有很好的效果，则需要将三维的参数转到全连接层的一维，这时就需要通过卷积神经网络。
?以上图均为卷积神经网络图
2.卷积运算
????????卷积神经网络中卷积层进行的处理就是卷积运算
?????????滤波器的作用就相对于过滤，在输入数据中进行线性叠加并输出，在一些文献中被称为“核”。同时在卷积运算之中也有偏置的存在，计算如图所示：
?????????此外，除了二维的运算，我们运用卷积神经网络主要是为了处理图像等问题，往往有多维，例如图像就有三维（在3维数据的卷积运算中，输入数据和滤波器的通道数 要设为相同的值），即有三个通道，只需将三个通道与三个对应的过滤器进行线性叠加后再相加即可，如图所示：
3.padding零填充
? ? ? ? 在卷积运算后，往往维度会降低，会造成边缘数据的缺失，所以往往会在原来数据的外层添加n层数据为0的数据，0数据不会对原始数据造成影响，避免了增加额外的干扰数据
? ? ? ? ?所以对于填充会有两种形式
①vaild：不填充
②same：填充为与原来数据维数一样，输出的公式如下
🔺? ?????????????????
?所以，需要添加的层数为：
? ? ? ? 进行完上述操作之后可以得知，经过一个滤波器之后所得到的是一个二维数据，所以当需要得到多层通道的数据时，则需要再添加n个滤波器,称为多卷积核：
4.池化层
????????与卷积层不同，一样有一个n X?n维数的滤波器，但没有需要学习的参数，直接根据原有的数据进行计算。
- ????????最大化的池化层
- ?????????取平均的池化层
?????????池化层的特征：①没有学习参数? ?②通道数不变? ?③具有”鲁棒性“，防止过拟合
????????鲁棒性是指数据的微笑偏差不会对最后的输出结果造成影响
5.卷积神经网络的可视化
layer 1：
????????学习前的滤波器是进行随机初始化的，所以在黑白的浓淡上没有规律可循，但学习后的滤波器变成了有规律的图像。通过学习，滤波器被更新成了有规律的滤波器，比如从白到黑渐变的滤波器、含有块状区域的滤波器。
?????????作用：观察边缘（颜色变化的分界线和斑块局部的块状区域）等。比如，左半部分为白色、右半部分为黑色的滤波器的情况下
?????????如果堆叠了多层卷积层，则随着层次加深，提取的信息也愈加复杂、抽象，这是深度学习中很有意思的一个地方。最开始的层对简单的边缘有响应，接下来的层对纹理有响应，再后面的层对更加复杂的物体 部件有响应。也就是说，随着层次加深，神经元从简单的形状向“高级”信息 变化。换句话说，就像我们理解东西的“含义”一样，响应的对象在逐渐变化。
6.卷积网络的发展
7.加深网络
????????本质上就是加强结果的准确率。集成学习、学习率衰减、Data Augmentation（数据扩充）等都有助于提高识别精度。
Data Augmentation基于算法“人为地”扩充输入图像（训练图像），通过施加旋转、垂直或水平方向上的移动等微小变化，增加图像的数量。
第一种? ? ? ? VGG
? ? ? ? 表面上结构与CNN相似，实际上增加了层的数目，叠加到了16，19层，具备了一定的深度，也被称为VGG16(VGG19)。先通过卷积层的叠加再到达池化层的处理，再由全连接层输出结果。
增加层的深度，一方面可以减少参数的数目，扩大感受野（给神经元施加变化的某个局部空间区域）
?????????在增加了层数之后：
?????????参数从原来的25个变成了现在的18个。
? ? ? ? ??
第二种? ?GoogLeNet
????????
????????目的：可以代替人工去自主选择使用哪一种维度的滤波器，以及是否还需要max-pooling层，由网络自主寻找最合适的结构，节省计算。
????????在GoogLeNet中，很多地方都使用了大小为1 X 1的卷积层，目的与增加层数的目的一样。
第三种? ? ResNet
????????在深度学习中，过度加深层的话，很多情况下学习将不能顺利进行，导致最终性能不佳。ResNet中， 为了解决这类问题，导入了“快捷结构”（也称为“捷径”或“小路”）。通过快捷结构，反向传播时信号可以无衰减地传递。
?
8.迁移学习
? ? ? ? 对于卷积神经网络，很少自己从头开始去创造一个网络结构，利用数据，任务或模型的相似性，将旧的模型运用于新的领域上面。最常见的称呼为fine tuning （微调）。
?