[人工智能]（CONTRASTIVELEARNING OFMEDICALVISUALREPRESENTATIONS FROMPAIREDIMAGES ANDTEXT）对配对图像和文本的医学视觉表示的对比学习阅读笔

虽然在某些特定领域和情况下取得了专家级的绩效，医学图像理解对于大多数领域来说仍然是一项困难的任务，主要是因为其具有挑战性和注释数据的极端稀缺性。

现有工作遵循两种通用方法以获取医学成像任务的注释。

第一种方法是使用由医学专家创建的高质量注释，然而这种方法的高成本导致数据集比自然图像数据集小很多数量级。为了解决这一问题，现有的工作在很大程度上依赖于从ImageNet预训练转移模型权重，这种方法是次优的，因为医学图像理解通常需要非常细粒度的视觉特征表示，这些特征与在自然图像中识别对象所需的特征截然不同，Raghu等人（2019年）发现，与简单的随机初始化相比，ImageNet预训练通常没有什么好处。

第二种流行的方法是使用专家精心编制的规则从医学图像附带的文本报告中提取标签。这种方法产生了更大规模的数据集，因为文本和医学图像数据通常由医学专家在其日常工作流程中自然生成，并在医院的IT系统中大量生成。然而，这种基于规则的标签提取方法有两个局限性：1、这些规则往往不准确，而且仅限于几个主要类别。2、这些规则通常是特定于领域的，并且对文本的风格敏感，这使得跨领域和跨机构的概括变得困难。

为了更有效地利用未标记的图像数据，最近的几项研究在从自然图像中对比学习的看到了有希望的结果，然而，正如我们将要展示的，与ImageNet预训练相比，将这些基于图像的对比方法应用于医学图像只提供了微不足道的好处，这一结果主要是由于医学图像的高类间相似性。

在这项工作中，我们的目标是通过结合从大量文本数据学习和无监督统计方法的优点来改进医学图像的视觉表示。我们提出了ConVIRT，这是一个通过利用图像和文本数据的自然配对来学习视觉表征的框架。我们将ConVIRT应用于医学图像编码器的预训练，并表明它可以获得更高质量的域内图像表示，从而捕获医学图像理解任务所需的视觉特征的细微之处。

与现有方法相比，ConVIRT的优点是以一种与医学专业无关的方式利用成对文本图像数据，并且不需要额外的专家输入。这使我们能够通过将预先训练的权重转移到涵盖2个不同专业的4个不同医学图像分类任务来评估ConVIRT。