[人工智能]《自然语言处理实战入门》深度学习 ---- 预训练模型的使用（ALBERT）

简介

bert 回顾

bert 两阶段 模式：预训练 + 微调

BERT 的总体预训练和微调程序。 除了输出层，在预训练和微调中都使用相同的体系结构。 相同的预训练模型参数用于初始化不同下游任务的模型。 在微调期间，所有参数都将进行微调。 [CLS]是在每个输入示例前添加的特殊符号，而[SEP]是特殊的分隔符（例如，分隔问题/答案）。

了解本专栏 订阅专栏 解锁全文 学习会员免费看