这是2013年一篇研究根据目标检测的输出产生图片的描述的算法的文章。我觉得这个想法放到现在都是新颖可用的，以前的NLP和CV模型没有现在这么强大的拟合能力，提出的方法可解释性都比较高，并不会像现在许多跨模态仅仅是把多个模态的信息想办法送到一个网络里面融合起来这么简单而往往不具备可解释性的方法。
- 一张图片可以用目标检测类的图像识别算法处理生成三个集合：
- A集合包含被检测出来的目标，包括目标的检测框和属性
- B集合包含被检测出来的动作（action or pose）
- C集合包含上述A集合和B集合中目标之间的关系
- 一份语言描述同样可以被处理成三个集合
- A集合为名词集合
- B集合为动词集合
- C集合为介词集合
- 因此可以把图像的ABC集合映射到语言的ABC集合中去。这时候问题变成了如下四点：
- 如何筛掉错误的检测结果
- 如何排序目标
- 如何将这些元素组合成语法树
- 如何将这些形成一个表述
- 本文以检测结果对应的名词为基础来生成表述，表述中的形容词、介词等都基于这些名词的最大后验概率进行生成，目的是生成一个最有可能出现这些名词的表述。
- 训练集Flickr的70w张有description的图片，测试集是PASCAL的840张图片。
- 首先对数据集中的语句进行预处理，去掉符号，用Berkeley parser 进行句法分解。
- 然后计算每个名词在句法分解中对应（parsing会将一些冠词和形容词定义为修饰某个名词）的各个冠词和形容词的概率，还有给定名词/动词，每个名词同时出现的条件概率。换句话说，算的条件概率的条件都是名词和动词，也就是某名词/动词出现的条件下，某名词/动词/形容词/冠词出现的概率。
- 本文同时还做了一些实验对数据集中description进行探究，从而有助于为模型添加先验。首先文章统计了description中每个句子出现实体名词的数量，发现92%的句子不超过3个实体名词。因此当检测器检测到超过3个目标时，模型就把句子拆成多句；然后另一个发现是description中不都是句子，还有一些是短语，因此模型也同时具备预测短语和句子的能力。
- 两个单词之间的句法分析可以产生5类关系：
- 介词的主宾关系：a boy on the table
- 动词的主宾关系：a boy cleans the table
- 动词+介词 短语的主宾关系：a boy sits on the table
- 动词+副词 短语的主宾关系：a boy cleans up the table
- 宾语从句或补语从句的主语与主句的主语之间的关系：a boy sees that the table is clean
- 文章关注前三种，这三种涵盖了大多数的情况，而且比较简单。
- 总的来说，模型的大体流程就是前面的CV加后续的NLP，CV部分用行为识别模型和目标检测模型分别在图像上预测出了名词和动词，NLP部分再根据这些名词和动词，利用现有的语法分析依存分析工具，生成一个完整的句子。但测试集上现有的行为识别模型识别效果并不好，没关系，NLP部分也可以利用动词生成把没检测出来的动词给补充上。具体来说，系统分为三个组分：
- 内容决定模块：聚类并为名词排序，创建局部子树，筛掉误检
- 构建模块：构建完整语法树
- 输出模块：从语法树产生有序的句子输出，并在多个输出中挑选最优输出。
- 未完待续（后续NLP处理部分并不关心了，框架大概是弄明白了）