torch.nn.BatchNorm2d
类：
torch.nn.BatchNorm2d(num_features,?eps=1e-05,?momentum=0.1,?affine=True,?track_running_stats=True,?device=None,?dtype=None)
参数：
Num_features：输入 (N,C,H,W)
Eps: 为保证数值稳定性在分母上加入的一个极小的数，默认为：1e-5
Momentum：用于计算running_mean和running_var，默认为0.1
Affine：一个布尔值，当设置为True时，模型有可学习的参数，默认为True
track_running_stats：一个布尔值，当设置为True时，模型追踪running_mean和running_variance，当设置为False时，模型不跟踪统计信息，并在训练和测试时都使用测试数据的均值和方差来代替，默认为True
《 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift?》中描述了对一个4维输入（一小批有额外通道维度的2维输入）使用Batch Normalization。
?
在mini-batch上计算每个维度的均值和标准差， γ??和 β?是大小为C的可学习参数向量（C是输入大小），?γ??默认设置为1， β?默认设置为0 。其中，标准差是通过有偏估计来计算的。等同于torch.var(input,unbiased=False) 。
通常在默认情况下，训练过程中BatchNorm层会保持对其计算的均值和方差的估计，然后在测试时使用这个均值和方差进行标准化。Running estimates保持默认动量为0.1 。
如果参数track_running_stats被设置为False，BatchNorm层将不会进行running estimates，Batch统计的均值和方差将会使用测试数据的均值和方差来代替。
NOTE：
BatchNorm中的momentum参数与优化器中的momentum和传统概念中的momentum不同。
在BatchNorm中，Running statistics的更新规则是:
X_new = ( 1 - momentum ) * X_old + momentum * X_current
X是估计量的统计；X_current是新估计的值。
因为Batch Normalization是在Channel维度上进行的，在（N,H,W）的切片上计算统计信息，
所以通常称为空间批归一化。
BatchNorm：
输入：（N,C,H,W）
输出：（N,C,H,W）
输入输出形状相同
训练阶段：
- 当track_running_stats=True，running_mean和running_var会跟踪不同batch数据的mean和variance，但是仍然是用每个batch的mean和variance做normalization
- 当track_running_stats=False，此时running_mean和running_var不跟踪不同batch数据的statistics，但是仍然用每个batch的mean和variance做normalization
测试阶段：
- 当track_running_stats=True，则使用训练阶段跟踪估计的running_mean和running_var做normalization
- 当track_running_stats=False，训练阶段没有跟踪不同batch数据的statistics，因此使用每个batch的mean和variance做normalization