[人工智能]从四个角度简单专业的理解深度学习中BN、GN、LN、IN等归一化操作

作为深度学习最基础的内容，这大概是每一个算法工程师必须要理解的，但是你理解了吗？哪个归一化更牛逼你知道吗？

        无论是图像、数据还是其他方向的深度学习算法，他们学的是什么呢？学的是数据分布。就以目标检测来说：检测器之所以能对世间万物进行检测，归根到底是因为每一类目标在一张图像中的像素分布是有一定规律的，这也是深度学习的本质。那么为什么要做归一化呢？在网络训练过程中，每一类目标不会之保持一模一样的像素分布，而是会产生一种协方差偏移。这个协方差偏移简单理解就是每一类中的每一个目标都有或多或少的不同，这就给网络训练带来了难度。

直观角度

        以下图为例：由于噪声影响，色调影响、亮度影响、遮挡影响，五角星在不同图像上是不尽相同的。如果要检测五角星，那么就有无数种五角星，网络怎么学的过来呢？

了解本专栏 订阅专栏 解锁全文