注：术语来源请参照《人工智能论文术语集》
术语内容
- pretraining objectives
- 预训练目标～ 模型进行预训练目标就是为了在更加丰富的语料上确定大部分参数的情况，来更好的支持下有任务。
- density estimation
- 密度估计 ～ 就理解成“分布”，生成模型的结果就是一个所有词汇的概率分布。
- a certain portion of xxx
- xxx的某一部分～ 一般指词或句子的成分。
- corrupted version
- 被破坏的版本 ～ 特指NLP领域使用mask标记遮掩词汇时被破坏的文本内容。
- As an immediate benefit
- 作为直接的有益之处 ～ 想要解释自己这么做实验带来的好处是什么。
- the aforementioned
- 之前所提的 ～ 就是中文里的“上述”。当你需要引用内容时使用。
- absent from real data
- 在真实数据中缺失 ～ 就是某些特征在真实文本数据里没有，比如BERT的[MASK]标记。讲到这你能猜到是什么模型会这么说BERT吗？XLNET。
- the product rule
- 连乘法则 ～ 就是反向传播过程中的链式法则。
- oversimplified
- 过于简单化 ～ 往往在说一些论文的基础假设，不符合实际情况。
- factorization order
- 因子顺序 ～ 论文中可以看作是代表语言的有序性，因子是暗指语言抽象的乘法因子。
被虐的还不过瘾？快关注我，查看更多粉丝可见内容！！！