e智团队实验室项目-第二周-卷积神经网络的学习?
赵雅玲?*, 张钊*?, 李锦玉,迟梦瑶,贾小云,赵尉,潘玉,刘立赛,祝大双,李月,曹海艳,
(淮北师范大学计算机科学与技术学院,淮北师范大学经济与管理学院,安徽?淮北)
*These authors contributed to the work equllly and should be regarded as co-first authors.
🍈 为什么要提出卷积神经网络(CNN)
神经网络有以下两个问题,卷积神经网络可以有效解决这两个问题。
?卷积神经网络的发展史:
?🍔卷积操作流程
-
卷积层初步提取特征
-
池化层提取主要特征
-
全连接层将各部分特征汇总
-
产生分类器,进行预测识别
下面我们会逐个介绍每一步的具体操作:
卷积层
现在我们要利用CNN来判断图片上的字母是X还是O,首先要对图片的特征进行提取,这就引入了卷积核(filter)。下面介绍一下黑白图像的卷积过程:
?
? ? ? ?一个卷积核代表一个特征,一般来说,卷积核的个数越多就代表提取的特征越多,卷积核的大小代表提取特征的详细程度,卷积核越小说明提取的特征越详细。计算过程如下所示:
卷积核的大小和个数是可以人为确定的,此例使用三个卷积核对原图进行特征提取得到三个特征图。
?
?下面以彩色图像为例继续研究卷积层。
以此例为例,对于黑白图像来说,卷积核的大小是3*3;对于彩色图像来说,卷积核的大小是3*3*3。
卷积涉及参数
(1)卷积核
? ? ? ? 一个卷积核代表一个特征,一般来说,卷积核的个数越多就代表提取的特征越多,卷积核的大小代表提取特征的详细程度,卷积核越小说明提取的特征越详细。
(2)步长?
每次滑动单元格的大小,如下图所示,是步长为1和步长为2时的卷积。
?
?(3)边界填充(pad)
边界填充的目的是为了让边界上的像素点得到充分的卷积,从而得到更充分的特征图。
(4) 特征图大小的计算
池化层?
提取主要特征,减少参数
最大池化 (Max-Pooling)
?平均池化(Average-Pooling)
?以彩色图像为例做最大池化
全连接层?
如果第L层的一个神经元和第L+1层的所有神经元均有连接,把这个架构叫做全连接。
如果第L层的所有神经元均是全连接架构,把该层称为全连接层。
?
? ? ? ?假设通过一系列卷积或池化操作后,我们得到了12*12*20的特征图,由于我们最终的目的是为了实现图片的分类,所以我们需要把这个特征图转化成一维向量输入到神经网络中,进而进行图片识别。那么这个操作是怎么做到的呢?
?
? ? ? ?假设我们要把12*12*20的特征图转化成1*100的向量(100代表着神经元的数量,是我们人为决定的),我们可以让该特征图经过100个12*12*20大小的卷积核的卷积操作。
? ? ? ?本文规定特征图经过n个卷积核的卷积操作后得到n个特征图,这n个特征图构成了一个整体特征图。
激活函数
? ? ? ? 一般跟在卷积神经网络的卷积层后面进行非线性运算。
🍟卷积神经网络的整体架构
以手写数字识别为例,
? ? ? ?一开始图像以32*32*3的大小作为输入端,经过6个5*5的卷积核,步长为1的卷积操作得到28*28*6的特征图,然后经过2*2的池化核,步长为2的池化操作得到14*14*6的特征图,再经过16个5*5的卷积核,步长为1的卷积操作得到10*10*16的特征图,然后经过2*2的池化核,步长为2的池化操作得到5*5*16的特征图,再将特征图展开得到1*400的一维向量,再经过全连接层和分类器得到概率。
Institutional Review Board Statement: Not applicable.
Informed Consent Statement: Not applicable.
Data Availability Statement: Not applicable.
Author Contributions:All authors participated in the assisting performance study and approved the paper.
Conflicts of Interest: The authors declare no conflict of interest、