注：术语来源请参照《人工智能论文术语集》
术语内容
- a reasonable computational budget
- 合理的算力预算 ～ 当前的大模型在进行预训练时，都需要合理的算力评估。
- sufficient
- 充足的 ～ 做好充足的准备。
- inverse square root
- 平方根倒数 ～ 1/ 开根号(n,k)。
- a constant learning rate
- 固定的学习率 ～ SGD就是固定的学习率，但在大多数预训练模型都会选择自适应的学习率。
- a triangular learning rate
- 三角学习率 ～ 通过Warmup预热实现，是一种非常流行的对学习率先升后降，效果往往比较好。
- generic
- 通用的 ～ 指更加通用的方法。
- as a trade-off
- 作为一种权衡 ～ 在使用大量算力和效果之间选择一种方法作为权衡。
- ultimately
- 最终 ～ “我们最终将模型微调在英文到德文上”—来自T5的论文。
- Schematic
- 示意图 ～ 一般在论文的图片介绍里出现。
- for corruption
- 去遮掩 ～ 类似于masked，用在描述BERT的预训练中。
被虐的还不过瘾？快关注我，查看更多粉丝可见内容！！！