CCAFNet: Crossflow and Cross-scale Adaptive Fusion Network for Detecting Salient Objects in
RGB-D Images
CCAFNet跨流和跨尺度自适应融合网络用于RGB-D 图像显著目标检测
一 动机
现有的 SOD 模型主要利用 RGB 图像及其在三个融合域中的相应深度信息之间的关系：输入 RGB-D 图像、提取的特征图和输出显着对象。然而，这些模型并没有很好地利用高级和低级信息之间的交叉流动。此外，这些模型中的解码器使用涉及多个计算的传统卷积。
二 方法
提出了一种跨流和跨尺度自适应融合网络 (CCAFNet) 来检测 RGB-D 图像中的显著对象
三 网络框架
该网络包括一个特征编码器和一个特征解码器。 在编码器中，RGB 图像及其对应的深度图首先被馈送到 SOD 的双流架构。 骨干网络VGG，CFM 和 SFM 改进了低级空间信息和高级语义信息的融合。 不仅使用高级语义信息，还使用低级空间信息来实现跨模态语义和空间互补信息的融合。
3.1 通道融合模块CFM
提出了 CFM 以改进对高级交叉流和跨尺度语义信息的处理。 具体来说，鉴于 RGB 和关于 layer4_r 和 layer4_d 以及 layer5_r 和 layer5_d 输出之间的公共对象的深度信息之间的强相关性，CFM 自适应地融合了高级语义信息。
CFM 涉及三个步骤。
第一步，RGB特征通过通道注意力与深度相乘再残差：
第二步：将第一步得出的结果与原始RGB特征拼接，再sigmoid，split() 表示根据通道数分成两部分
?分为以上两部分之后，深度通道与第一步得到的结果相乘再与第一步的结果相加；RGB通道与原始RGB特征相乘再与原始RGB特征相加；最后将两个部分相加
第三步：将第二步得到的结果与上一级的特征经过3ｘ３卷积两倍上采样做减法，再与第二步的结果相乘，再相加，abs() 绝对函数。其中Fi+1代表第i+1个融合模型的输出特征，Fi代表CFM的输出。
?
3.2空间融合模块（SFM）
?在编码器网络中，在低级 CNN 特征和高级 CNN 深度特征之间获得互补信息。作者在 SFM 中引入了权重门和跨尺度策略，以减少噪声信息和跨尺度歧义。 我们采用自适应融合低级空间信息的 SFM，将深度图的详细边界传递到 RGB 图像。
SFM 可以确定 layer1_r 和 layer1_d、layer2_r 和 layer2_d 以及 layer3_r 和 layer3_d 的输出之间的互补特征。 通过Ghost模型得到attention map，然后通过hsigmoid函数将区间归一化为[0,1]。?
SFM 第一步：?
SFM 第二步和第三步和CFM模块相似