[人工智能]【论文极速读】FILIP： 一种基于交互的细粒度图文预训练模型

前言

FILIP（Fine-grained Interactive Language-Image Pretrain）是一种基于交互的细粒度图文预训练模型，用于解决图文双塔匹配模型中的细粒度匹配问题。本文对该论文进行阅读笔记，如有谬误请联系指出，本文遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明并且联系笔者，谢谢。

$?$ 联系方式：
e-mail: FesianXu@gmail.com

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号：机器学习杂货铺3号店

FILIP [1] 提出是为了解决图文匹配中的细粒度匹配问题。我们之前在博文 [2] 中曾经讨论过，在图文双塔匹配中，由于需要对图片塔的向量提前进行刷库，一些长尾的，形态较小的物体可能会在训练过程中被忽略，导致图文匹配的时候缺少对细粒度匹配的能力。为了解决这个问题，我们需要提供模型以图片和文本在线交互（online interaction）的能力，将图片以某种形式提取出每个区域的信息（ROI Detector检测每个ROI区域，或者单纯的划分patch，如ViT所做的那样），然后将文本和图片每个区域进行交互，从而模型有能力挖掘出图片中的一些细粒度信息。以第一种方式为例，如Fig 1.1所示，如果采用ROI Detector首先对图片的ROI区域进行提取，如红框所示，通过对文本『黄色桌子上的小黄人』进行在线匹配，即可实现对场景中的小黄人的细粒度匹配。

当然，这个前提是有一个足够好的ROI detector，并且其计算复杂度的代价也很高，对于在线应用比如图片搜索来说是一个比较大的负担。FILIP用了一种比较直接，也比较聪明的方法实现在线交互，其方法就是『迟交互（Late Interaction）』，想办法尽可能把交互的操作后移，从而使得pipeline的前端结果可以刷库，减少在线交互的代价。

如Fig 1.2所示，FILIP的图片编码器是ViT [3-4]，对输入图片进行简单的分块后，进行线性映射输入到Transformer中，其输出就是对应每个Image Patch的Embedding向量，文本侧同样采用Transformer，其输出就是每个token的embedding。如果用$x^I$表示图片样本，$x^T$表示文本样本，那么$x_i^I$表示batch内图片的第$i$个样本，$x_i^T$表示batch内文本的第$i$个样本，具有同个下标的样本对 { x i I , x i T } \{x_i^I, x_i^T\} {xiI?,xiT?}我们认为是一对正样本，而下标不同的样本对 { x i I , x j T } \{x_i^I, x_j^T\} {xiI?,xjT?}我们认为是一对负样本。用$f_{\theta }(?)$表示图片编码器，$g_{?}(?)$表示文本编码器，在不存在交互的双塔匹配模型中，如CLIP和ALIGN中，第$i$个和第$j$个样本间的相似度定义为：
$$s_{i,j}^I=s_{i,j}^T=f_{\theta }(x_i^I{)}^{\mathrm{T}}{g}_{?}(x_j^T)\text{\hspace{1em}(1-1)}$$
其中$f_{\theta }(x_i^I)\in {\mathbb{R}}^d,g_{?}(x_j^T)\in {\mathbb{R}}^d$，无论是图片编码器还是文本编码器，均对同一个图片/文本只产出一个特征向量，通过计算余弦相似度计算其图文相似性，显然这是一种全局（Global）的相似度计算方式。而在FILIP中，采用ViT和Text Transformer可以对每个图片token和文本token产出『专属』的embedding（可以认为是每个模态的细粒度局部信息），假设$n_1$和$n_2$分别是第$i$个图片样本和第$j$个文本样本的token数量，那么有$f_{\theta }(x_i^I)\in {\mathbb{R}}^{n_1\times d},g_{?}(x_j^T)\in {\mathbb{R}}^{n_2\times d}$。 我们怎么计算第$i$个和第$j$个样本间的相似度呢？此时就体现了迟交互的作用，对于第$i$个图片的第$k$个token而言，分别计算其和第$j$个文本样本的所有$n_2$个token间的相似程度，并且挑选其中相似度最大的打分，作为第$i$个图片第$k$个token的打分代表，这个方式作者称之为『逐令牌最大相似度（token-wise maximum similarity）』。
$$\underset{0\le r<n_2}{\max }[f_{\theta }(x_i^I){]}_k^{\mathrm{T}}[g_{?}(x_i^T){]}_r\text{\hspace{1em}(1-2)}$$
当然，对于图片样本$i$来说，这个只是第$k$个token的最大相似度打分，而我们有$n_1$个图片token，因此会对这$n_1$个最大相似度打分进行求平均。
$$s_{i,j}^I(x_i^I,x_j^T)=\frac{1}{n_1}\sum _{k=1}^{n_1}[f_{\theta }(x_i^I){]}_k^{\mathrm{T}}[g_{?}(x_i^T){]}_{m_k^I}\text{\hspace{1em}(1-3)}$$
其中的$m_k^I$标识了其最大相似度的索引，也就是$m_k^I=\arg {\max }_{0\le r<n_2}[f_{\theta }(x_i^I){]}_k^{\mathrm{T}}[g_{?}(x_i^T){]}_r$，式子(1-3)是图片-文本侧的相似度度量，类似的，我们也可以定义出文本-图片侧的相似度度量$s_{i,j}^T(x_i^T,x_j^I)$。 注意到$s_{i,j}^I(x_i^I,x_j^T)$不一定等于$s_{i,j}^T(x_i^T,x_j^I)$，也就是说基于最大相似度的交互，其跨模态相似度不一定是对称的，这一点和CLIP不同。

我们发现这种对每个模态的token，求另外模态的最大相似度的方法，其实类似于Fig 1.1中的交互方法，只是其没有采用ROI的方式进行匹配，而是以图片patch和文本token依次匹配的方式，如Fig 1.3所示，显然这种方式同样可以实现细粒度的图文匹配。在线上应用时候，需要对每张图片都进行刷特征并且存入正排库，刷特征的时候需要对图片每个patch的特征都进行落盘，以便在线上进行交互时候使用。如公式(1-3)所示，线上交互时可以计算$s_{i,j}^T(x_i^T,x_j^I)$和$s_{i,j}^I(x_i^I,x_j^T)$，然后以其平均值作为最终相似度（Query-图片搜索应用直接用$s_{i,j}^T(x_i^T,x_j^I)$即可）。显然，由于需要对$n_1$个图片patch特征都进行落盘到正排库，需要非常大量的正排存储资源，在实际落地的过程中也许会碰到一定的困难，需要进行工程上的优化。

作者采用了Prompt Learning的方式，对数据集采用了Prompt模版的优化，本文就不展开了。在论文中作者对图文细粒度匹配的结果进行了可视化，如Fig 1.4所示，此处的label分别为“Balloon（气球）”，“Lifeboat（救生艇）”，“Small white butterfly（小白蝶）”，“Electric Iocomotive（电力机车）”，而label后面的数字表示label的某位单词在label模版中的位置。举个例子，此处的模版为

Label模版：a photo of a {label}

当label为"Small white butterfly"的时候，label模版即为“a photo of a small white butterfly”，small在该模版中的第5位，white在第6位而butterfly在第7位。按照前文描述的交互方式，我们求出每个图片patch与label模版单词，其中的最大相似度匹配的模版位置ID，然后将这些位置ID中为label位置ID的进行高亮，这样就绘制出了如Fig 1.4所示的结果。我们可以发现这些label物体有些是非常细粒度的，如气球在原图中的视觉占比非常小，CLIP的结果和我们预期的一致，压根没有对这种细粒度物体进行响应。而FILIP的结果则能对图中patch中有气球部分的进行响应。FILIP不仅能对细粒度物体进行响应，对于大物体同样效果不俗，如Fig 1.4?所示，这个蝴蝶占据了大半个图片，此时FILIP匹配效果同样能够超过CLIP。

Reference

[1]. Yao, Lewei, Runhui Huang, Lu Hou, Guansong Lu, Minzhe Niu, Hang Xu, Xiaodan Liang, Zhenguo Li, Xin Jiang, and Chunjing Xu. “Filip: Fine-grained interactive language-image pre-training.” arXiv preprint arXiv:2111.07783 (2021).

[2]. https://blog.csdn.net/LoseInVain/article/details/122735603， 图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型

[3]. https://blog.csdn.net/LoseInVain/article/details/116031656，将Transformer用在图片上：Vision Transformer论文杂谈

[4]. Dosovitskiy, Alexey, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani et al. “An image is worth 16x16 words: Transformers for image recognition at scale.” arXiv preprint arXiv:2010.11929 (2020).