[人工智能]XLNet: Generalized Autoregressive Pretraining for Language Understanding

Abstract

基于降噪自编码的预训练模型（例如 BERT ）由于能够建模双向上下文，取得了比基于自回归语言建模预训练更好的效果。但是由于依赖于使用 MASK 破坏输入结构， BERT 忽略了屏蔽位置之间的依赖关系，带来 pretrain-finetune dependency 的问题。鉴于以上优缺点，本文提出 XLNet，一种广义自回归预训练方法：

• 能够通过在所有因子排列上最大化期望似然学到双向上下文
• 其自回归特性克服了上述 BERT 之缺点

更进一步，XLNet 还借鉴了 Transformer-XL 的设计思路。实验显示 XLNet 在 20 项任务上超越 BERT，包括问答、自然语言推理、情感分析以及文档排序。

Introduction

风靡的预训练模型之中，最成功的两个预训练目标分别为自回归（autoregressive, AR）和自编码（autoencoding, AE）。

自回归语言模型的目标是使用自回归模型来估计文本语料的概率分布（如 ELMo、GPT）。特别地，给定文

了解本专栏 订阅专栏 解锁全文