0、研究内容
医学图像分割是医疗系统开发的必要前提，特别是疾病诊断和治疗规划。在各种医学图像分割任务中，U-Net结构已经成为事实上的标准，并取得了巨大的成功。然而，由于卷积操作固有的局部性，U-Net在显式地建模远程依赖关系方面通常存在局限性。用于序列到序列预测的transformer已经成为具有固有全局自注意机制的替代架构，但由于缺乏低层细节，可能导致定位能力有限。在本文中，我们提出TransUNet，它兼具transformer和U-Net的优点，作为一种强有力的医学图像分割替代方案。一方面，Transformer将卷积神经网络(CNN)特征图中的标记化图像块编码为提取全局上下文的输入序列;另一方面，解码器对编码后的特征进行上采样，然后与高分辨率的CNN特征图相结合，实现精确定位。
我们认为，transformer可以作为医学图像分割任务的强大编码器，结合U-Net，通过恢复局部空间信息来增强细节。TransUNet在不同的医疗应用中，包括多器官分割和心脏分割，取得了优于各种竞争方法的性能。
代码和模型可在https://github.com/Beckschen/ TransUNet获得。
1、研究相关内容
卷积神经网络，特别是全卷积神经网络[8]，已经成为医学图像分割的主导技术。在不同的变体中，U-Net[12]已经成为事实上的选择，它由一个具有跳跃连接的对称编码器-解码器网络组成，以增强细节保留。基于这一方法，在广泛的医疗应用中取得了巨大的成功，如心脏分割磁共振(MR) [16]， CT (CT)中的器官分割[7,17,19]和结肠镜检查视频中的息肉分割[20]。
