DataWhale 9月份学习笔记六 之BERT应用到下游任务、训练和优化BERT应用到下游任务
一、BERT应用到下游任务
结合自己的研究方向，实现BERT进行NER，具体源码可参阅Click Here
二、BERT 优化
1. BERT 的优化器：AdamW（AdamWeightDecayOptimizer）
这一优化器来自 ICLR 2017 的 Best Paper：《Fixing Weight Decay Regularization in Adam》中提出的一种用于修复 Adam 的权重衰减错误的新方法。论文指出，L2 正则化和权重衰减在大部分情况下并不等价，只在 SGD 优化的情况下是等价的；而大多数框架中对于 Adam+L2 正则使用的是权重衰减的方式，两者不能混为一谈。
AdamW 是在 Adam+L2 正则化的基础上进行改进的算法，与一般的 Adam+L2 的区别如下：
2. BERT 的优化器：Warmup
BERT 的训练中另一个特点在于 Warmup，其含义为：
在训练初期使用较小的学习率（从 0 开始），在一定步数（比如 1000 步）内逐渐提高到正常大小（比如上面的 2e-5），避免模型过早进入局部最优而过拟合；在训练后期再慢慢将学习率降低到 0，避免后期训练还出现较大的参数变化。