[人工智能]【NLP】基于BERT-BiLSTM-CRF的NER实现

背景

NER任务毋庸多言，之前也是从HMM，BiLSTM-CRF，IDCNN-CRF一路实现，也看到各个模型的效果和性能。在BERT大行其道的时期，不用BERT做一下BERT那就有点out了，毕竟基于BERT的衍生语言模型也变得更加强悍。不过当前使用BERT+softmax既可以做到非常好的效果，接上BiLSTM以及再使用CRF解码，主要是为了充分理解各层直接的衔接关系等。除此之外，模型在训练过程中需要一些小tricks，如：lr_scheduler，warmup等都需要我们慢慢理解其在背后使用的意义和效果等。

当然，如果你对之前NER实现的代码感兴趣的话，可以看看这些文章：【NLP】基于隐马尔可夫模型（HMM）的命名实体识别（NER）实现、【NLP】基于Pytorch lightning与BiLSTM-CRF的NER实现、【NLP】基于Pytorch的IDCNN-CRF命名实体识别(NER)实现。

当然本程序在实现完相关模型后，也将源码上传到了GitHub上了，有兴趣看源码的可以自拿：

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系

了解本专栏 订阅专栏 解锁全文 超级会员免费看