[人工智能]深度学习——卷积核参数量的运算公式

在进行深度学习训练时，优化器会对模型的参数进行优化，以寻找到一组最优解。一个简单的卷积神经网络，可以分为卷积池化层和全连接层，全连接层中的参数可以用神经元连接的权重W来表示，而卷积层的参数往往是用卷积核参数来表示。

2D卷积

对于输入层为 $W_{in}\times H_{in}\times D_{in}$的特征图，输出为$W_{\text{out?}}\times H_{\text{out?}}\times D_{\text{out?}}$的卷积过程，其参数具体为以下几个：

超参数

• 卷积核个数：$k$
• 卷积核维度：$w\times h$
• 步长：$s$
• padding:$p$

其他参数

• 输入通道数：$D_{in}$
• 输出通道数：$D_{out}$
  输入层和输出层之间的参数关系为：
  $$\begin{array}{l}{W}_{\text{out?}}=\left(W_{\text{in?}}+2p?w\right)/s+1\\ H_{\text{out?}}=\left(H_{\text{in?}}+2p?h\right)/s+1\\ D_{\text{out?}}=k\end{array}$$
  参数量其实就是所有卷积核包含的参数的总和加上卷积核的个数，因此总参数量如下所示：
  $$\left(w?h?D_{in}+1\right)?k$$

3D卷积

3D卷积其实就是在2D卷积的基础上增加了一个卷积的维度，以卷积核为例，除去通道数，2D卷积一般是$t\times t$二维的，而3D卷积则是$d\times t\times t$三维的，增加的长度$d$则用来在特征图增加的维度上进行卷积，因此其总体的参数也将发生变化。

对于输入层为 $W_{in}\times H_{in}\times D_{in}\times C_{in}$的特征图（此时$C_{in}$为通道数），输出为$W_{\text{out?}}\times H_{\text{out?}}\times D_{\text{out?}\times C_{in}}$的卷积过程，其参数具体为以下几个：

超参数

• 卷积核个数：$k$
• 卷积核维度：$w\times h\times d$
• 步长：$s$
• padding:$p$

其他参数

• 输入通道数：$C_{in}$
• 输出通道数：$C_{out}$
  输入层和输出层之间的参数关系为：
  $$\begin{array}{l}{W}_{\text{out?}}=\left(W_{\text{in?}}+2p?w\right)/s+1,\\ H_{\text{out?}}=\left(H_{\text{in?}}+2p?h\right)/s+1,\\ D_{\text{out?}}=\left(D_{\text{in?}}+2p?d\right)/s+1,\\ C_{\text{out?}}=k\end{array}$$
  参数量为：$(w\times h\times d\times C_{in}+1)?k$

ps：工作在不同通道上的卷积核的参数可以是不同的，因此2D卷积和3D卷积计算参数量时分别乘了$D_{in}$和$C_{in}$。

Reference:
https://www.zhihu.com/question/402674728