在网络中,如果全部使用全连接网络,则会使参数异常多,造成计算复杂,降低训练的效率。由此引入卷积层,卷积层能够有效减小训练参数,这与卷积具有的两个性质有关。 结合自身经历以及他人的疑问,对卷积神经网络有一个误解: 每个卷积核产生的feature map为一个神经元,正确的认知应该是每个神经元代表feature map的一个像素; 卷积层有两个比较重要的性质:
1 局部连接
图1.全连接与卷积 图2.卷积示意图
如图所示,5×5为L层,3×3为L+1层,其中L+1层单元格值为6、10的两个格子,两个神经元的计算值仅仅与前一层的黄、红色的输入层的部分映射,相比全连接网络,其减小了参数的量,对于现代更深更大的网络,两者的差距会被放大更多。 如果使用全连接层,需要训练的参数个数为(5×5)×(3×3)= 225个,而使用卷积,需要训练的参数仅为卷积核大小 = (3×3) = 9个。在单个网络上仅仅减小了几个,但是在多通道、几十层上百层的网络中,这个训练参数的差距会非常大。 通过以上证明,卷积大大减小了训练需要的参数数量,提高了训练效率。
2. 权重共享
如图2, 红黄色所对应的特征映射中的两个神经元,其部分参数计算时共享,本质是共享的卷积核在移动时共享的输入图像参数,红色圆圈所标注的为共享区域,这同样减小了参数数量。
邱锡鹏《深度学习》 吴恩达《深度学习》
|