注：术语来源请参照《人工智能论文术语集》
术语内容
- auxiliary
- 辅助的 ～ 一般指辅助性的任务，Roberta里认为BERT的NSP任务就是辅助性任务。
- amenable to
- 服从，满足 ～ 服从…分布，满足…规律。
- crucial
- 至关重要的 ～ 暗指某种模型trick对指标改善非常重要，比如Roberta中的动态mask比bert的静态mask效果更好。
- the peak learning rate
- 峰值学习率 ～ 指在训练过程中，指定了学习率的最大值。
- the Adam epsilon term
- Adam优化器中的ε项 ～ 一个优化器的超参数。
- inject short sequences
- 注入短序列 ～ 一般指向训练语料中加入短本文。
- observes
- 观察 ～ 一般指模型“观察”输入的文本形式。
- discrepancy
- 差异 ～ 一般指模型训练模式的差异，比如预训练过程中是否使用NSP任务。
- Byte-Pair Encoding
- 字节对编码 ～ 一种处在字母和单词编码之间的方式，能够很好的针对没有见过的新词进行编码。
- approximately
- 大约 ～ 在冬季。
被虐的还不过瘾？快关注我，查看更多粉丝可见内容！！！