MCTNET: 用于光学遥感图像变化检测的多尺度 CNN-Transformer网络
1）文章背景
2022年10月发表于CVPR
清华大学电子工程系, 北京 100084
文章地址：https://arxiv.org/abs/2210.07601
代码地址：暂无
2）简介
作者提出了一种基于多尺度 CNN 变换器结构的混合网络，称为 MCTNet，其中利用多尺度全局和局部信息来增强 CD 性能在不同大小的变化区域上的鲁棒性。
文章重点：CNN-Transformer，多尺度
BIT缺点：BIT仅采用深度 CNN 和 Transformer 的简单单尺度集成，其中 Transformer 是在深度 CNN 之后执行的，其提取的全局特征不包含在前面的深度 CNN 结构之后遗漏的小目标。因此，BIT 可能对小的变化区域的 CD 任务不稳健。
ConvTrans模块：该模块旨在从全局-局部角度捕获更全面的图像特征。基于该模块使得该模型可以增加对小变化区域检测的稳健性。
3）模型详解
1.总体架构
MCTNet 是一个标准的编码器-解码器架构，包括两部分，即用于多尺度 “全局-局部” 特征提取的具??有连体结构的编码器和解码器使用 U 形连接进行多尺度全局-局部特征融合。
Conv Block模块用?一次卷积一次最大池化?操作从遥感图像中提取低级特征（边缘和纹理信息）。经过这一轮操作后图片的长宽缩小为原来的1/2，通道数变为64。
ConvTrans模块获取多尺度全局-局部特征
Cascading Feature Decoder模块使用 U 形连接的解码器逐层融合来自孪生编码器的多尺度全局-局部特征，以逐步增强变化区域的显着性。
Classifier模块使用1x1的卷积层分类器生成变化图
（注：在训练过程中，使用加权交叉熵损失来优化?MCTNet 的参数）
2.ConvTrans模块（该模块的讲解以第二阶段编码为例）
?基于卷积的局部分支
?
该模块使用两个BasicBlock用于提取局部特征（3x3卷积 --> 归一化 --> 激活-->卷积-->归一化-->元素相加-->归一化）公式定于如下：
基于Transformer的全局分支
?
1.Token Embedding（标记嵌入）：目的是将图片向量化
将一阶段得到的（H/2，W/2，64）的图片进行卷积得到通道数为64的Token Map，然后将Token Map扁平化得到一个向量T2。
2.Transformer Encoder（编码）：目的是通过Transformer生成全局特征
得到T2后送入Transformer Encoder模块。（具体多头注意力机制怎么运作参考我主页的文章）公式定义如下：
经过自注意力机制以后产生一个新的增强过的向量T，将向量归一化以后通过MLP模块还原成图像特征（自注意力的位置编码文章没有展示出来）
特征融合分支
将局部以及全局特征提取出来以后，如何有效的融合这些特征是一个难点。文章使用自适应方式融合这些特征。其步骤分为：特征元素求和，注意力计算，特征选择。
1.特征元素求和
简单相加（如果所猜测不错）后进行平均池化
2.注意力计算
两个全连接层，FC1以及FC2，为全局和局部特征生成自注意力权重
3.特征选择
具体方法文中没有讲述，需要等代码公开以后更新
4）实验结果
数据集选择：LEVIR-CD，CDD
实验设施：单个NVIDIA RTX TITAN GPU.
实验结果比较：
?
?5）代码复现结果
暂无代码公布