多模态–Residual-based的融合方式
之前希望通过融合图像语义信息提升双目视差网络的精度。
师兄也尝试过通过融合红外散斑双目图像与RGB双目图像来提升双目视差网络的精度。
都有一些理论依据
1）小物体的视差差距往往小于大物体的视差差距。
2）红外散斑图像在白墙等物体上效果比较近好。
从结果上来看都有一些提升，但是融合方式都比较简单，基本就是直接concat。
最近ICCV 2021 中的工作，基于视觉感知的多传感器融合点云语义分割方法《Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation》中使用的Residual-based的融合方式感觉比起concat要合理一些。
不知道之前是不是就有类似的方式，多模态还是很有趣的。
才疏学浅，有知道的朋友麻烦指出来
https://mp.weixin.qq.com/s/uKipcDDh9V40zyFP9HpPIw