前言
normalization方法已经广泛应用在深度模型中，并且发挥着重要作用，本文是对normalization方法的一些总结。
normalization
以神经网络中一个普通神经元为例，输入向量：
x
=
(
x
1
,
x
2
,
?
?
,
x
n
)
(1)
x = (x_1,x_2,\cdots,x_n) \tag{1}
x=(x1?,x2?,?,xn?)(1)
通过运算后的输出为：
h
=
f
(
x
)
(2)
h = f(x) \tag{2}
h=f(x)(2)
实际情况下，x的分布可能相差很大，并不符合独立同分布的假设，normalization的基本思想就是：在对x进行运算之前，先进行平移和伸缩变换操作，使x的分布规范化成某个固定区间的标准分布，即：
h
=
f
(
γ
?
x
?
μ
σ
+
β
)
(3)
h = f(\gamma \cdot \frac{x - \mu}{\sigma} + \beta) \tag{3}
h=f(γ?σx?μ?+β)(3)
其中，
μ
\mu
μ 为平移参数（shift parameter），
σ
\sigma
σ 为缩放参数（scale parameter），通过这两个参数进行平移和缩放变换，可以使输入x符合均值为0、方差为1的标准分布；之后，
γ
\gamma
γ 为再缩放参数（re-scale parameter），
β
\beta
β 为再平移参数（re-shift parameter），将数据最终变换为均值为
β
\beta
β ，方差为
γ
\gamma
γ 的分布。
normalization参数学习，对损失函数 l l l 使用链式法则：
对
x
^
i
\hat{x}_i
x^i? 有：
?
l
?
x
^
i
=
?
l
?
y
i
?
γ
(4)
\frac{\partial l}{\partial \hat{x}_i} = \frac{\partial l}{\partial y_i} \cdot \gamma \tag{4}
?x^i??l?=?yi??l??γ(4)
对
σ
2
\sigma^2
σ2 有：
?
l
?
σ
2
=
∑
i
=
1
m
?
l
?
x
^
i
?
(
x
i
?
μ
)
?
?
1
2
(
σ
2
+
?
)
?
3
2
(5)
\frac{\partial l}{\partial \sigma^2} = \sum_{i=1}^{m} \frac{\partial l}{\partial \hat{x}_i} \cdot (x_i - \mu) \cdot \frac{-1}{2} (\sigma^2 + \epsilon)^{-\frac{3}{2}} \tag{5}
?σ2?l?=i=1∑m??x^i??l??(xi??μ)?2?1?(σ2+?)?23?(5)
对
μ
\mu
μ 有：
?
l
?
μ
=
∑
i
=
1
m
?
l
?
x
^
i
?
?
1
σ
2
+
?
(6)
\frac{\partial l}{\partial \mu} = \sum_{i=1}^{m} \frac{\partial l}{\partial \hat{x}_i} \cdot \frac{-1}{\sqrt{\sigma^2 + \epsilon}} \tag{6}
?μ?l?=i=1∑m??x^i??l??σ2+???1?(6)
对
x
i
x_i
xi? 有：
?
l
?
x
i
=
?
l
?
x
^
i
?
1
σ
2
+
?
+
?
l
?
σ
2
?
2
(
x
i
?
μ
)
m
+
?
l
?
μ
?
1
m
(7)
\frac{\partial l}{\partial x_i} = \frac{\partial l}{\partial \hat{x}_i} \cdot \frac{1}{\sqrt{\sigma^2 + \epsilon}} + \frac{\partial l}{\partial \sigma^2} \cdot \frac{2(x_i - \mu)}{m} + \frac{\partial l}{\partial \mu} \cdot \frac{1}{m} \tag{7}
?xi??l?=?x^i??l??σ2+??1?+?σ2?l??m2(xi??μ)?+?μ?l??m1?(7)
对
γ
\gamma
γ 有：
?
l
?
γ
=
∑
i
=
1
m
?
l
?
y
i
?
x
^
i
(8)
\frac{\partial l}{\partial \gamma} = \sum_{i=1}^{m} \frac{\partial l}{\partial y_i} \cdot \hat{x}_i \tag{8}
?γ?l?=i=1∑m??yi??l??x^i?(8)
对
β
\beta
β 有：
?
l
?
β
=
∑
i
=
1
m
?
l
?
y
i
(9)
\frac{\partial l}{\partial \beta} = \sum_{i=1}^{m} \frac{\partial l}{\partial y_i} \tag{9}
?β?l?=i=1∑m??yi??l?(9)
batch normalization
batch normalization，纵向规范化，针对单个神经元进行，利用网络训练时每个batch的数据来计算该神经元
x
i
x_i
xi? 的均值和方差，从而实现对数据的规范化处理。
计算batch的均值：
μ
=
1
m
∑
i
=
1
m
x
i
(10)
\mu = \frac{1}{m} \sum_{i=1}^{m}x_i \tag{10}
μ=m1?i=1∑m?xi?(10)
计算batch的方差：
σ
2
=
1
m
∑
i
=
1
m
(
x
i
?
μ
)
2
(11)
\sigma^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i-\mu)^2 \tag{11}
σ2=m1?i=1∑m?(xi??μ)2(11)
对输入数据进行规范化处理，使其转变为均值为0，方差为1的标准分布：
x
^
i
=
x
i
?
μ
σ
2
+
?
(12)
\hat{x}_i = \frac{x_i-\mu}{\sqrt{\sigma^2 + \epsilon}} \tag{12}
x^i?=σ2+??xi??μ?(12)
再对数据进行再平移和再缩放操作，使数据分布限制在一定范围内：
y
i
=
γ
x
^
i
+
β
(13)
y_i = \gamma \hat{x}_i + \beta \tag{13}
yi?=γx^i?+β(13)
BN的参数是一个batch下的均值和方差统计，这就要求每个batch的分布和整体数据近似同分布。如果batch之间的数据分布差异较小，可以看作是规范化过程中数据引入了微小噪声，可以增加模型的泛化能力，提高模型的鲁棒性；但如果batch之间的数据分布差异较大，则经过BN之后，映射的规范化空间也是不同的，就会增加模型的训练难度。
因此，在使用BN时，需要注意以下几点：首先，batch size不能太小，batch size太小会导致均值和方差的波动变大；其次，数据需进行随机的shuffle操作，避免相似数据在同一个batch中而出现分布差异大的情况。
需要注意的是，由于在训练阶段，BN每次只需要计算每个batch的均值和方差，而在线上预测阶段，请求的数据是单条的，因此模型在训练时会记录每个batch计算的结果进行指数移动平均后，作为线上预测的均值和方差。
在原论文中给出的BN有效的解释是：BN可以防止内部协方差转移，通过神经元加权计算后使用BN可以将数据的分布控制在一定波动范围内。后来MIT论文验证该解释是错的，BN的作用在于平滑了损失曲面，使得模型训练时可以更快速收敛，使用较大的学习率也不会出问题（BN在每一个batch中都会计算均值和方差，实际上是增加了模型的计算量，本应该增加模型的训练时长，但由于BN会使模型更快的收敛，少走弯路，实际上会减少模型的训练时间）。
此外，由于BN是对每个神经元的纵向规范化操作，对于推荐系统、图像问题，都具有很好的效果，但在NLP领域使用BN的效果并不理想，在NLP中主要使用layer normalization，下面进行介绍。
layer normalization
相比于BN，LN广泛使用于NLP模型中，是一种横向的规范化操作。LN会考虑这一层所有维度的输入，横向计算该层的均值和方差，然后对这一层的所有数据进行规范化操作。具体计算如下：
μ
=
1
H
∑
i
=
1
H
x
i
??????
σ
=
1
H
∑
i
=
1
H
(
x
i
?
μ
)
2
(14)
\mu = \frac{1}{H} \sum_{i=1}^{H} x_i \ \ \ \ \ \ \sigma = \sqrt{\frac{1}{H} \sum_{i=1}^{H} (x_i - \mu)^2} \tag{14}
μ=H1?i=1∑H?xi???????σ=H1?i=1∑H?(xi??μ)2?(14)
其中，
H
H
H 为该层中隐层节点数量，
μ
\mu
μ 为该层的均值，
σ
\sigma
σ 为该层的方差。归一化的值为：
x
^
=
x
?
μ
σ
2
+
?
(15)
\hat{x} = \frac{x - \mu}{\sqrt{\sigma ^2 + \epsilon}} \tag{15}
x^=σ2+??x?μ?(15)
最后根据式（13）即为规范化结果。
上面也有提到，BN在推荐系统、图像上面的效果都很好，但在NLP模型中表现很差，其实归根结底还是数据本身的差异。在推荐系统中，每一维索引表示某个特征值或是特征值的高阶映射；在图像上，每一维索引表示某个像素点或是像素点的高阶映射，这两者都是实际存在的，并且描述的意义相同或近似。而在NLP领域，每一维是一个单词的映射，这个映射是人为构造的，并且由于语句长短不一，产出的向量长度也不一，这时候去纵向的考虑每个单词的信息提取，不如横向的考虑每个句子的整体信息，举个简单的例子：『今天 天气 很 好』和『我 在 写 博客』这两个句子，如果按照BN的逻辑，就应该是『今天』和『我』进行标准化，这显然不合理。
另外，LN操作仅仅是在一层神经元的输入，不需要考虑batch维度，因此也就不需要存储均值和方差，节省了额外的存储空间。
instance normalization
Instance Norm的计算逻辑如下：
μ
t
i
=
1
H
W
∑
l
=
1
W
∑
m
=
1
H
x
t
i
l
m
??????
σ
t
i
2
=
1
H
W
∑
l
=
1
W
∑
m
=
1
H
(
x
t
i
l
m
?
μ
t
i
)
2
(16)
\mu_{ti} = \frac{1}{HW} \sum_{l=1}^{W} \sum_{m=1}^{H} x_{tilm} \ \ \ \ \ \ \sigma_{ti}^2 = \frac{1}{HW} \sum_{l=1}^{W} \sum_{m=1}^{H} (x_{tilm} - \mu_{ti})^2 \tag{16}
μti?=HW1?l=1∑W?m=1∑H?xtilm???????σti2?=HW1?l=1∑W?m=1∑H?(xtilm??μti?)2(16)
Instance Norm规范化：
x
^
t
i
l
m
=
x
t
i
l
m
?
μ
t
i
σ
t
i
2
+
?
(17)
\hat{x}_{tilm} = \frac{x_{tilm} - \mu_{ti}}{\sqrt{\sigma_{ti}^2 + \epsilon}} \tag{17}
x^tilm?=σti2?+??xtilm??μti??(17)
最后根据式（13）即为规范化结果。
group normalization
group normalization介于layer normalization和instance normalization之间，计算式需要定义超参数G，为group的数量
weighted normalization
回到神经元计算的基本逻辑上：
f
(
x
)
=
W
?
x
+
b
(18)
f(x)=W \cdot x + b \tag{18}
f(x)=W?x+b(18)
上面介绍的各种标准化，实际上都是对输入
x
x
x 进行变换，而本节中的WN，则是对
W
W
W 进行规范化。具体方案是：将权重向量
W
W
W 分解为方向向量
v
^
\hat{v}
v^ 和 向量模
g
g
g 。
f
w
(
x
)
=
W
N
(
W
x
)
=
g
?
v
^
?
x
=
g
?
v
∣
∣
v
∣
∣
?
x
=
v
?
g
?
x
∣
∣
v
∣
∣
=
f
v
(
g
?
x
∣
∣
v
∣
∣
)
(19)
\begin{aligned} f_w(x) &= WN(Wx)\\ &= g \cdot \hat{v} \cdot x \\ &= g \cdot \frac{v}{||v||} \cdot x \\ &= v \cdot g \cdot \frac{x}{||v||} \\ &= f_v (g \cdot \frac{x}{||v||}) \end{aligned} \tag{19}
fw?(x)?=WN(Wx)=g?v^?x=g?∣∣v∣∣v??x=v?g?∣∣v∣∣x?=fv?(g?∣∣v∣∣x?)?(19)
对比式（3）可知，只需令：
μ
=
0
?
,
σ
=
∣
∣
v
∣
∣
?
,
b
=
0
\mu = 0 \ , \sigma = ||v|| \ , b=0
μ=0?,σ=∣∣v∣∣?,b=0 即可。
cosin normalization
还是回到神经元的基本变换，式（18）上，
W
W
W 和
x
x
x 两个向量计算点积作为神经元的输出，点积是无界的，本质上也是计算两个向量的相似度，于是使用余弦相似度替代点积，这样还有一个好处，余弦相似度是有界的。
f w ( x ) = c o s θ = w ? x ∣ ∣ w ∣ ∣ ? ∣ ∣ x ∣ ∣ (20) f_w(x) = cos \theta = \frac{w \cdot x}{||w|| \cdot ||x||} \tag{20} fw?(x)=cosθ=∣∣w∣∣?∣∣x∣∣w?x?(20)
n
e
t
n
o
r
m
=
(
w
?
μ
w
)
?
(
x
?
μ
x
)
∣
w
?
μ
w
∣
∣
x
?
μ
x
∣
(21)
net_{norm} = \frac{(w - \mu_w) \cdot (x - \mu_x)}{|w - \mu_w| |x - \mu_x |} \tag{21}
netnorm?=∣w?μw?∣∣x?μx?∣(w?μw?)?(x?μx?)?(21)
其中，
μ
w
\mu_w
μw? 为向量
w
w
w 的均值，
μ
x
\mu_x
μx? 为向量
x
x
x 的均值
因为，
∣
w
?
μ
w
∣
=
∑
i
(
w
i
?
μ
w
)
2
(22)
|w - \mu_w| = \sqrt{\sum_i (w_i - \mu_w)^2} \tag{22}
∣w?μw?∣=i∑?(wi??μw?)2?(22)
∣
x
?
μ
x
∣
=
∑
i
(
x
i
?
μ
x
)
2
(23)
|x - \mu_x| = \sqrt{\sum_i (x_i - \mu_x)^2} \tag{23}
∣x?μx?∣=i∑?(xi??μx?)2?(23)
σ
w
=
1
n
∑
i
(
w
i
?
μ
w
)
2
(24)
\sigma_w = \sqrt{\frac{1}{n} \sum_i (w_i - \mu_w)^2} \tag{24}
σw?=n1?i∑?(wi??μw?)2?(24)
σ
x
=
1
n
∑
i
(
x
i
?
μ
x
)
2
(25)
\sigma_x = \sqrt{\frac{1}{n} \sum_i (x_i - \mu_x)^2} \tag{25}
σx?=n1?i∑?(xi??μx?)2?(25)
于是，cosine normalization转化为：
n
e
t
n
o
r
m
=
(
w
?
μ
w
)
?
(
x
?
μ
x
)
n
σ
w
σ
x
(26)
net_{norm} = \frac{(w - \mu_w) \cdot (x - \mu_x)}{ n \sigma_w \sigma_x} \tag{26}
netnorm?=nσw?σx?(w?μw?)?(x?μx?)?(26)