文章目录
参考资料：https://blog.csdn.net/weixin_36815313/article/details/105728919
卷积层
卷积的优点——参数共享和稀疏连接
- 参数共享
特征检测如垂直边缘检测如果适用于图片的某个区域，那么它也可能适用于图片的其他区域。也就是说，如果你用一个3×3的过滤器检测垂直边缘，那么图片的左上角区域，以及旁边的各个区域（左边矩阵中蓝色方框标记的部分）都可以使用这个3×3的过滤器。 - 稀疏连接
输出（右边矩阵中红色标记的元素 30）仅仅依赖于这9个特征（左边矩阵红色方框标记的区域），看上去只有这9个输入特征与输出相连接，其它像素对输出没有任何影响。
池化层——无需学习参数
卷积神经网络案例
梯度下降
经典的神经网络
LeNet-5 ，AlexNet， VGG， ResNet， Inception
疑问： 请教下为什么随着网络的加深，图像的高度和宽度都在以一定的规律不断缩小，而通道数量在不断增，要这么设计呢？
残差网络
详解残差网络： https://zhuanlan.zhihu.com/p/42706477
随着网络层数的增加，网络发生了退化（degradation）的现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。注意这并不是过拟合，因为在过拟合中训练loss是一直减小的。当网络退化时，浅层网络能够达到比深层网络更好的训练效果，这时如果我们把低层的特征传到高层，那么效果应该至少不比浅层的网络效果差，或者说如果一个VGG-100网络在第98层使用的是和VGG-16第14层一模一样的特征，那么VGG-100的效果应该会和VGG-16的效果相同。所以，我们可以在VGG-100的98层和14层之间添加一条直接映射（Identity Mapping）来达到此效果。从信息论的角度讲，由于DPI（数据处理不等式）的存在，在前向传输的过程中，随着层数的加深，Feature Map包含的图像信息会逐层减少，而ResNet的直接映射的加入，保证了深层的网络一定比浅层包含更多的图像信息。基于这种使用直接映射来连接网络不同层直接的思想，残差网络应运而生。
1x1卷积 (Network in Network and 1x1 Convolutions)
池化层压缩它的高度和宽度，1x1卷积压缩输入层中通道的数量
Inception网络
Inception网络或Inception层的作用就是代替人工来确定卷积层中的过滤器类型，或者确定是否需要创建卷积层或池化层