Bert在文本分类任务重如何进行 fine-tuning
1. 前言
文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎，诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。这篇文章并没有什么高深的tricks，只是最传统的方式的简单介绍。
由于Bert本身并不会直接输出文本类别，因此需要对模型进行稍加改造，一般是Bert+Linear再通过softmax获取最终的类别分布，因此就涉及到一些Bert部分的微调和Linear部分的训练工作，本文接介绍一些用Bert做文本分类任务时的一些常用模型训练技巧。
2. 关于Bert
关于Bert有几个关键信息需要了解。
Bert是有Transformers的encoder部分构成的，包含多个encoder block的堆叠。Bert的输入是一个不超过512个tokens的序列，输出是这个序列的表征，中间层的hidden_size为768。在文本分类中，Bert一般用最后一层的[CLS]作为整个句子的表征，再加个线性变换最终softmax成分别的分布。
3. 训练
训练一般有3种方式。
【1】Bert 直接在特定任务上做训练
【2】Bert在特定任务上进一步pre-train，再在有label数据上做训练。
【3】Bert在进一步pre-train之后，在multi-task fine-tuning，再在有label的数据上做训练。
3.1 Bert 直接在特定任务上做训练
这一步是最基础和关键的。在这里我们需要学习率的选择。常用的方式是不同的层采用不同的学习率进行梯度更新。
θ
t
l
=
θ
t
?
1
l
?
η
l
?
▽
θ
l
J
(
θ
)
,
\theta^l_t = \theta^l_{t-1} - \eta^l \cdot \bigtriangledown_{\theta^l} J(\theta),
θtl?=θt?1l??ηl?▽θl?J(θ),
其中
η
l
\eta^l
ηl表示的是第l层的学习率，我们首先设置一个初始学习率
η
L
\eta^L
ηL，然后用如下策略$\eta^{k-1} = \xi \cdot \eta^k
进
行
学
习
率
的
调
整
，
其
中
进行学习率的调整，其中
进行学习率的调整，其中\xi < 1$，当然也可以等于1。
3.2 Bert在特定任务上进一步pre-train，再在有label数据上做训练。
由于在做文本分类任务时，往往是对特定领域的内容做分类，例如医学文本，商品评价等等。因此我们可以用这个特定文本进行进一步的预训练，得到一个新的Bert。这一部分参考Bert的训练过程即可。
3.3 Bert在进一步pre-train之后，在multi-task fine-tuning，再在有label的数据上做训练。
Multi-task learning 也是一种十分有效的提升训练效果的方式。
当然模型训练还有很多其他的tricks可以借鉴，譬如对抗训练、r-drop等等。本文暂时对Bert用于文本分类的初学者做个简单介绍。后边的trick再慢慢补充。。。
|