(1) ?目的和背景

① 研究任务：

? ? ? ? 复杂的复合命名实体可能是复杂的名词短语、动名词、不定式、甚至是完整的句子。这种歧义使很难根据他们的上下文认识它们。为了解决复杂命名实体识别，提出了一个基于 Transformer 简单而有效的方法实现了英文命名实体识别。并且使用实体链接探索了数据增强方法，尽管该方法不能改善最终表现，但也在论文中进行了讨论。

② 已有方法和相关工作：

????????许多先前的命名实体识别（NER）方法基于序列标签方法。 （2011年）引入了一种神经体系结构，该神经体系结构使用卷积神经网络（CNN）编码代币与CRF层相结合进行分类。许多其他研究使用复发性神经网络（RNN）来编码预测的输入和CRF。随着预训练的语言模型的最新兴起，最近的NER模型通常会使用依赖上下文的嵌入或Bert的嵌入方式。

③?面临挑战：

Ⅰ虽然基于神经的模型在流行的基准数据集上取得了令人印象深刻的结果，但是这些模型通常在复杂/看不见的实体上表现不佳。

Ⅱ NER在复杂实体和低语情况下的挑战。其他工作将其扩展到多语言和代码混合设置。

④?创新思路

Ⅰ模型没有CRF层。?

⑤?实验结论

????????

?????????经过20个时期训练的Albert-XXLARGE在开发集中优于所有其他基线模型。因此，我们使用此模型为测试集生成预测。

(2) ?模型

① BERT:该模型使用两个任务进行了预训练：掩码语言建模（MLM）和下一个句子预测（NSP）。我们在这项工作中使用了大版本的Bert（即Bert-large-uncund）

② RoBERTa:改进BERT的模型。修改包括：（1）在更多的数据上训练模型的时间更长、批量更大；（2）删除NSP目标； （3）较长序列的训练； （4）动态更改应用于训练数据的掩蔽模式。

③ ALBERT：具有两种参数还原技术，基于BERT的模型：分解嵌入参数化和跨层参数共享。（factorized embedding parameterization and cross-layer parameter sharing）

(3)? 基线模型

?

(4)? 数据增强

????????根据上述例子，首先使用一个实体链接器将提及的命名实体链接Wikidata(一个大规模的知识图)中相应的实体。在 Wikidata 页面中可以提取关于实体的所有类型的信息。可以利用这些类型的信息找到一个与原始实体不同但高度相似的新实体。所以作者试图找到一个与原始实体相同的新实体。最后，会产生一个新的例子。?

?????????

????????对于培训集中的每个示例，我们使用数据增强方法来生成一个新示例。使用了所有原始和新生成的示例来训练新的RoBERTa-large model。该模型比仅使用原始示例训练的Roberta-lagge模型表现差。尽管如此，我们仍然认为这种方法具有很大的潜力，我们对未来的工作进行了进一步的探索。

(5) ?结论和未来工作路线