[人工智能]文献阅读_ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrast

前言

小白读论文 文献阅读汇总

论文

摘要

预训练语言模型(Pre-trained Language Models, PLMs)在很多下游的自然语言处理(NLP)任务中表现出色。然而，预训练模型仍然不能很好地捕捉真实的文本知识，这对理解整个文本是至关重要的，特别是在固定任务下的文档级语言理解任务。为了解决这一问题，我们提出了一个名为ERICA的新的在预训练阶段的对比学习框架，以获得更深入的文本中的实体及其关系的理解。具体来说，(1)为了更好地理解实体，我们提出了一个实体识别任务，通过给定的头实体和关系来区分哪些尾实体可以被推断出来。(2)此外，为了更好地理解关系，我们使用关系识别任务来区分两个实体对在关系语义上是否接近。实验结果表明，本文提出的ERICA框架在多个文档级别的语言理解任务上取得了一致的改进，包括关系抽取和阅读理解，特别是在低资源设置下。同时，ERICA在句子级别的任务中取得了类似或更好的表现。我们将发布数据集，源代码和预先训练的语言模型，以作进一步的研究探索。