[人工智能]【论文泛读198】通过输入空间转换利用 BERT 进行多模态目标情感分类

贴一下汇总贴：论文阅读记录

论文链接：《Exploiting BERT For Multimodal Target SentimentClassification Through Input Space Translation》

一、摘要

多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter 是该任务的理想设置，因为它本质上是多模态的、高度情绪化的，并且会影响现实世界的事件。然而，多模态推文很短，并且伴随着复杂的、可能不相关的图像。我们引入了一个双流模型，该模型使用对象感知转换器和单通道非自回归文本生成方法来转换输入空间中的图像。然后我们利用翻译来构建一个辅助句子，为语言模型提供多模态信息。我们的方法增加了语言模型可用的文本量，并提取了复杂图像中的对象级信息。我们在两个多模态 Twitter 数据集上实现了最先进的性能，而无需修改语言模型的内部以接受多模态数据，证明了我们翻译的有效性。此外，我们解释了一种流行的方面情感分析方法在应用于推文时的失败模式。我们的代码位于 \textcolor{blue}{\url{ 我们解释了一种流行的方面情感分析方法在应用于推文时的失败模式。我们的代码位于 \textcolor{blue}{\url{ 我们解释了一种流行的方面情感分析方法在应用于推文时的失败模式。我们的代码位于：github。

二、结论

待续…