0. bert简介
Bert模型是google-research在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。本篇文章从实践入手，带领大家进行Bert的中文文本分类模型的训练，推理，以及模型服务器部署的使用教程。
1. bert中文分类模型训练
使用bert有两个阶段：预训练和微调
什么是预训练？
BERT是一个预训练的模型，那么什么是预训练呢？举例子进行简单的介绍
假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行不断的改变，称为“fine-tuning”，即更好地把参数进行调整使得更适合当前的B任务
优点：当任务B的训练数据较少时，很难很好的训练网络，但是获得了A训练的参数，会比仅仅使用B训练的参数更优
1.在自然语言处理领域中，预训练语言模型已成为非常重要的基础技术。预训练需要巨大的运算资源，google官方预训练一个语言模型，需要在 4 到 16 个 Cloud TPU 训练四天的时间，幸运的是，google官方开源了许多预训练模型，包括中文预训练模型。大多数 NLP 研究人员永远不需要从头开始预训练他们自己的模型。
- 微调就是在使用预训练模型的基础之上，继续训练，用于下游分类任务或阅读理解任务。
1 下载bert项目代码
https://github.com/google-research/bert
代码结构
- 预训练
在开源的代码中，预训练的入口是在run_pretraining.py。 - 微调
而微调的入口针对不同的任务分别在run_classifier.py和run_squad.py。
其中run_classifier.py用于文本分类任务的训练。
而run_squad.py用于阅读理解任务的训练。
2 下载中文预训练模型
对于中文而言，google公布了一个参数较小的BERT预训练模型。
- 模型下载地址
https://github.com/google-research/bert/blob/master/multilingual.md
- 进入下载页面，选择：BERT-Base, Chinese进行下载。
-
下载完成后，解压至与run_classifier.py同一级目录。
-
模型文件说明
bert_model.ckpt：存储得模型变量
vocab.txt：中文文本采用的字典，
bert_config.json：是bert在训练时，可选调整的一些配置参数。
3 制作中文训练数据集
对中文文本数据进行分类模型的训练，需要编写自己文本处理程序，google官方已经编写基础数据处理类，我们只需根据其代码修改为自己的数据处理类。
任何模型的训练、预测都是需要有一个明确的输入，而BERT代码中processor就是负责对模型的输入进行处理。们以分类任务的为例，介绍如何修改processor来运行自己数据集上的fine-tune。在run_classsifier.py文件中我们可以看到，google对于一些公开数据集已经写了一些processor，如XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor。这给我们提供了一个很好的示例，指导我们如何针对自己的数据集来写processor。
class kedataProcessor(DataProcessor):
"""Processor for the XNLI data set."""
def get_train_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")
def get_dev_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")
def get_test_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, "test.tsv")), "test")
def get_labels(self):
# 这里返回的为具体的你的分类的类别
labelf = open(FLAGS.data_dir+'\label.csv', 'r', newline='', encoding = 'gb2312')
labeldata = csv.reader(labelf, delimiter="\t")
labelList=[]
for line in labeldata:
label=line[1]
labelList.append(label)
return labelList
def _create_examples(self, lines, set_type):
"""Creates examples for the training and dev sets."""
examples = []
for (i, line) in enumerate(lines):
guid = "%s-%s" % (set_type, i)
text_a = tokenization.convert_to_unicode(line[1])
label = tokenization.convert_to_unicode(line[0])
# print('guid:',guid," text:",text_a,' label:',label)
examples.append(
InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
return examples