<基本省略所有的细节计算，提取概括和特点>
（一）seq2seq图形摘要
引用：seq2seq （文章讲解很细腻，根据文章总结一份图形摘要，便于理解）
虽然在tensorflow，pytorch等平台上实现seq2seq基本功能很简单，但是还是想了解整体数据流的方向。
【简介——Wiki】
Seq2seq是用于自然语言处理的一系列机器学习方法。[1]应用领域包括机器翻译，图像描述，对话模型和文本摘要。最初由Google开发，并用于机器翻译.。
seq2seq with attention的版本：
引用：Attention is All You Need
图中attention只演示了j=1时刻的情况，j=2，3类同。
附 1 ：模型中attention的计算需要涉及Q，k，V。参考：Q,K,V
(二)Transformer
引用：
transformer
transformer
self-attention
Transformer
transformer主体结构
附 1：该主体结构只是分别展示了最后一个Encoder和任意一个Decoder的连接情况，其他Encoder-Decoder内部结构类似。
附 2： 结构中关于Masked的理解，参考Masked
transformer中的mask有两种作用：
其一：去除掉各种padding在训练过程中的影响。
其二，将输入进行遮盖，避免decoder看到后面要预测的东西。（只用在decoder中）
相比于seq2seq的几个特点：整体结构还是编码——解码，但是内部细节变化很大
1）增加了位置编码Positional Encoding
2）使用了self-attention
3) 使用muti-head方式进行分布式计算
4）Encoder或者Decoder结构中特征提取器不再是RNN，而是self-attention + 前馈神经网络
5）输入是一次性输入第一个Encoder，计算更快，不会像RNN那样受到不能并行计算的约束。
self-attention相比于attention的优点：
Self Attention与传统的Attention机制非常的不同：传统的Attention是基于source端和target端的隐变量（hidden state）计算Attention的，得到的结果是源端的每个词与目标端每个词之间的依赖关系。但Self Attention不同，它分别在source端和target端进行，仅与source input或者target input自身相关的Self Attention，捕捉source端或target端自身的词与词之间的依赖关系；然后再把source端的得到的self Attention加入到target端得到的Attention中，捕捉source端和target端词与词之间的依赖关系。因此，self Attention Attention比传统的Attention mechanism效果要好，主要原因之一是，传统的Attention机制忽略了源端或目标端句子中词与词之间的依赖关系，相对比，self Attention可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系。
（三）BERT
BERT：全称Bidirectional Encoder Representations from Transformers
说明和transformer的源远很深。整体的结构是以transformer为基础件，向上构造的。
引用：
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT结构
由transformer连接而成。
BERT属于预训练语言表征模型，无监督学习，并且只需要Encoder机制。常被用于和GPT模型对比
BERT解决的一个问题就是，很多语言模型的预测只是限制在一句话当中，寻找关系，而忽略了上下文句子之间的潜在联系。
BERT针对此提出的两种结构：
1）MLM
随机屏蔽输入序列中的部分单词，用[Mask]遮盖，尝试根据序列中其他非屏蔽词提供的上下文来预测屏蔽词的原始值。
2）NSP
直译：下一句预测
在 BERT 训练过程中，模型接收成对的句子作为输入，并学习预测成对中的第二个句子是否是原始文档中的后续句子。在训练期间，50% 的输入是一对，其中第二个句子是原始文档中的后续句子，而另外 50% 的输入是从语料库中随机选择的一个句子作为第二个句子。
对比GPT和BERT两种预训练方式的优劣。GPT在预测词的时候，只预测下一个词，因此只能用到上文的信息，无法利用到下文的信息。而BERT是预测文中扣掉的词，可以充分利用到上下文的信息，这使得模型有更强的表达能力，这也是BERT中Bidirectional的含义。
附 1 ：
文本预处理：
每个输入词embedding编码都是三部分组成：
1）WordPiece 嵌入：WordPiece是指将单词划分成一组有限的公共子词单元，能在单词的有效性和字符的灵活性之间取得一个折中的平衡。例如图4的示例中‘playing’被拆分成了‘play’和‘ing’；
2）位置嵌入（Position Embedding）：位置嵌入是指将单词的位置信息编码成特征向量，位置嵌入是向模型中引入单词位置关系的至关重要的一环。位置嵌入的具体内容参考我之前的分析；
3）分割嵌入（Segment Embedding）：用于区分两个句子，例如B是否是A的下文（对话场景，问答场景等）。对于句子对，第一个句子的特征值是0，第二个句子的特征值是1。