关于每日的工作总结，出于方便，我先在CSDN上发布，等之后我的个人技术博客搭建更完善，更方便之后，我再搬运到个人博客上。
2021.07.23
最近在zju实习，我们要做的是医学图像的多模态目标检测的任务。
目前的计划是：
- 该任务的相关论文调研(Tencent Jarivis lab)
- 先看一些关于目标检测的论文(fast rcnn, faster rcnn,Fcos,RetinaNet,ATSS)
- 然后是多模态目标检测的论文
目前阅读目标检测的论文出于学习目的，要求看比较细致一些，包括源码。dataloader如何设置，等等。
多模态的论文，要关注它的feature map是如何融合的，和我们的任务之间的区别是什么，创新点。
目标检测论文，已经读完了，一直没写笔记是因为之后如果用到的话，感觉还是看原论文会更清楚，准确一些。如果之后有空的话，再总结一下每篇的创新思路和可以应用的技术重点。
今天主要阅读一些多模态的论文。
Context-Aware Inductive Bias Learning for Vessel Border Detection in Multi-modal Intracoronary Imaging
任务是分别在
血管内超声（IVUS）上识别管腔边界和中外膜边界，光学相干断层扫描(OCT)上识别管腔边界。
即最后需要在两张图片上进行完成分割任务。
切入点是：不同的分割任务之间从医学上解释时，具有一些共同的判断指标（共享一些高级语义信息）
所以多模态体现在 高级语义信息的融合。
其网络结构如下所示：
几个重要的模块:
- Cross-Task Feature Fusion
融合的是high-level feature maps.(语义信息)
通过 auto-encoder模块(6 个卷积层)实现。
网络可以学习到多样但是相关的feature representation - Cross-Level Feature Fusion
通过辅助监督和PDDC模块，增加low-level features中的高级语义信息。
通过级联操作可以增加high-level features中的详细信息,提高准确率.
PDDC模块：
为了提取出size-varied regions的语义信息并且保留boundary-detailed info
PDDC模块采用了：
1.使用空洞卷积的金字塔结构 扩大感受野
2.采用Dense-connection 可以尽可能多的保留高分辨率语义信息。
Borrow from Anywhere: Pseudo Multi-modal Object Detection in Thermal Imagery
任务是 需要在热图(thermal image)上完成目标检测任务.
本文提出了一种“pseuado-multimodal" object detector，在已有的thermal image上利用I2I生成器构造一个配对的RGB-image，同时在RGB-image 和 theremal image上进行目标检测。
其网络结构图如下图所示
这里I2I生成器采用CycleGAN 和 UINT，把Theremal image 作为源域，RGB image作为目标域。
顺便补充以下CycleGAT 和 UINT相关知识点
CycleGAN
UINT：在CycleGAN上引入注意力机制，使得网络更关注物体本身
训练算法伪代码如下图所示
