1 简介
论文题目:DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension 论文来源:AAAI 2020 论文链接:https://arxiv.org/pdf/1908.11511.pdf 代码链接:https://github.com/Qzsl123/dcmn
1.1 动机
- 目前Multi-choice阅读理解的方法仅计算了question-aware passage表示,忽略了passage question-aware表示。
1.2 创新
-提出了一个双向匹配的模型,可以双向的建模{passage,question,answer}全部的成对关系。
2 方法
模型的整体框架如上图所示,主要分为下面几个部分:
- 上下文编码:使用bert对文本、问题、答案进行编码。
- 文本句子选择:该模块选择文本中关键句子(下面数据统计大部分问题的答案在两个句子内),基于Cosine score(左边式子)和Bilinear score对句子打分,选择top K个句子。
- 答案选项交互:此模块建模答案的选项间的交互信息,首先计算选项间的交互表示,然后使用门控机制融合交互表示,公式如下:
- 双向匹配:该模块完全建模{文本,问题,答案}三元组之间的关系,使用双向建立全部成对的表示,下面公式展示为建模问题和答案之间的关系(其余两组关系也类似):
模型的目标函数的公式如下:
3 实验
实验数据集为RACE、SemEval-2018 Task11、ROCStories、MCTest、COIN Task 1,统计数据如下。 在RACE数据集的实验结果如下: 消融实验结果: 在各个数据集上的实验效果: 和单向方法的比较结果: 选择句子时不同打分方法的实验效果: 在RACE和COIN的数据集选择不同的句子数量的对比实验: 和以前使用bert的方法比较的实验结果:
不同问题类型的实验效果:
|