图像处理tricks——注意力机制
学习前言
什么是注意力机制
CV中的注意力机制有哪些
注意力机制的实现方式
????1.SENet
????2.ECANet
????…
学习前言
大量的工作已经表明，注意力机制是非常有效的trick，能够提高神经网络架构的性能。重新设计一个有效的CNN是比较困难的，所以注意力模块的基本原则是不改变原来的CNN结构，做到即插即用
什么是注意力机制
注意力机制能够灵活的捕捉全局信息和局部信息之间的联系。它的目的就是让网络去重点关注目标区域，对该部分投入更大的权重，突出有用的特征，抑制无关特征。
CV中的注意力机制有哪些?
我们知道，在pytorch中的张量数据类型一般为BCHW，将注意力施加到C中，可以称为通道注意力机制，将注意力施加到HW中，可以称为空间注意力机制。还有将通道和空间一起处理的混合注意力机制。
注意力机制的实现方式
1.SENet
通过专注于通道，提出了一种新颖的架构单元，称之为“Squeeze-and-Excitation”（SE）块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，能证明可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，发现SE块以微小的计算成本为现有的最先进的深层架构产生了显著的性能改进。SENets是ILSVRC 2017分类提交的基础，它赢得了第一名，并将top-5错误率显著减少到2.251%。下面是SENet具体分析，实现及应用。
SENet