Abstract
预训练模型在学到语言学知识的同时，可能还保存了训练数据中的 relational knowledge, 并且也许可以回答完形填空之类的问题。
语言模型相比于结构化的知识库具有很多优势，比如
- 不需要 schema engineering
- 支持对于开放关系类别的查询
- 容易扩展到更多数据
- 训练时不需要 human supervision
我们对各种预训练语言模型中已有的（没有 fine-tuning） relational knowledge 进行了深度分析。我们发现：
- BERT 中包含了可以比肩传统 NLP 方法的关系数据，这些传统方法可以使用一些 oracle knowledge.
- 相比于一个 supervised baseline, BERT 在开发领域问答上表现出色
- 特定的事实性知识比另外一些知识可以更快地从标准语言模型预训练过程中习得。
预训练语言模型在未经 fine-tuning 就对事实性知识具有惊人的召回能力，这显示它们作为无监督开放领域问答系统的潜力。
相关代码：https://github.com/facebookresearch/LAMA
Introduction
为了填充知识库，需要复杂的 NLP pipeline, 涉及到实体抽取，共指消歧，实体链接和关系抽取(Surdeanu and Ji, 2014). 这些组件通常需要有监督的数据和固定的 schema.
