本篇开启bert源码讲解系列，从bert模型的基础开始讲起，结合HuggingFace出品的? pytorch源码逐步分析，有些图片来自于网络，有冒犯的，麻烦告知下~
?
一、bert介绍
BERT，全称是 Bidirectional Encoder Representation from Transformers，基于语义理解的深度双向预训练Transformer， 重点在于以下5点，（nlp领域 效果大幅度提升，横扫各种比赛榜单）
1.Deep ,Bert 的神经网络层更深，通过叠加多层网络结构，提取更多的语义信息，更加丰富的表达语义
2. Bidirectional ，Bert 重点在于双向，通过双向模型，有效的获取目标词语的上下文信息，结合上下文更能学习到词语的语义信息，说的通俗一点，有点类似于完形填空的阅读理解任务，结合目标词语的上下文信息，预测目标词语
3.Transformer，Bert是基于 transformer的深度双向语言模型，使用了 transformer中的Encoder结构，通过叠加Encoder 结构 来加深模型层数，后面会讲到具体的模型结构。Bert 模型 输入和transformer有些差异，如 position id 是随机初始化。
4.pre-training，Bert是一个 pre-training 预训练模型，通过大量数据训练出embeding 的语义表征信息，在下游任务中 使用小样本的数据进行fine-tune 微调，通常在下游任务中 都能取得不错的效果
5.Language Understanding
Bert 是一个用 Transformer 作为特征抽取器的深度双向预训练语言理解模型，利用双向 Transformer，通过大量数据训练一个语言表征模型，通过小样本对其微调来适用下游任务，包括分类，回归，机器翻译，问答系统等等任务。如下图所示，“他们到河岸钓鱼“
?二、bert模型结构
2.1bert模型输入
上文是经典的例子，表示Bert模型的输入
Token Embeddings : 指的是word Embeddings ?
Segment Embeddings : 为了将多个句子区分，第一个句子可能用0表示，第二个用1
Position Embeddings : 位置embedding是将位置用低维稠密向量表示，和Transformer不一样，不是三角函数而是学习出来的
2.2? bert模型预训练任务
任务一：Mask language model：遮掩语言模型
类似于完形填空的任务，通过上下文预测目标词汇,具体在bert的任务中，15% 的tokens 进行随机mask，也就是随机掩盖15%的 tokens，其中 这个15%的tokens也分为以下三种情况：
1. 80%的tokens使用'mask' 字符进行替换，如 “my dog is cute ”? -->? "my dog is [mask]"
2. 10% 的 tokens 使用其他随机字符进行替换，如 “my dog is cute ”? -->? "my dog is iphone"
3.10% 的字符替换成本身，也就是保持不动，如 “my dog is cute ”? -->? "my dog is cute "
在最后的预测中，使用的是softmax 预测 mask的 token 的概率，其中score最高的token 就是预测的单词?
任务二：Next Sentence Prediction：预测下一个句子（关系）
NSP任务 更加关注两个句子之间的关系，相比较 MLM的任务，该任务较简单。训练输入数据格式为， <sentence1,sentence2>,任务是学习 sentence2是否 是sentence1的 下一句，Bert训练任务中，主要是以下两种情况：
1.50%的输入是一对连续句子
2.50%的输入是随机组合的不连续的句子
?模型输入的时候，使用【CLS】 【SEP】来标记 ，句子开头插入 【CLS】符号， 句子结尾插入【SEP】.
【CLS】: classification Token ，主要是用于分类任务中，bert中CLS 放在第一位，其实 也可以放在中间，或者 后面
【SEP】Special Token 是用来区分两个句子
2.3? bert模型的使用
Bert推动了NLP 领域中的四大任务的发展，这四大任务分别为：单句子分类，句子对分类任务，问答任务，单个句子标注任务
1.单句子分类任务：
2. 句子对分类任务：
3. 问答任务：
?
?
4.序列标注任务
?
?
后续系列着重介绍，BERT源码分析
?