[人工智能]Transformer 中 Decoder 结构解读_by 弘毅

Transformer 中 Decoder 结构解读

注意点 ： DECODER D 的输出 一个 一个 产生的，

1. Transformer 中解码器；

1.1 Transformer 中编码器与解码器的区别

Transformer 中 编码器与解码器的区别， 如图所示：
Decoder 主要概况为 以下：

1. 将self attention 模块改成了 masked self-attention, 用于只考虑解码器的当前输入和当前输入的左侧部分， 不考虑右侧部分；

2. 在 masked self-attention 和 $FC$ 全连接层 之间加入了 Cross attention 交叉注意力模块；

1.2 解码器中的 Masked self attention

Masked self attention :

只考虑输入向量本身， 和输入向量的之前的向量，即左侧向量；

输出向量 $b^1$ 的时候， 只考虑了输入向量 $a^1$;

输出向量 $b^2$ 的时候， 只考虑输入向量 $a^2$, 以及$a^2$ 之前的输入向量 $a^1$ ;

输出向量 $b^3$ 的时候， 只考虑 输入向量 $a^3$, 以及$a^3$ 之前的输入向量 $a^1$ ，$a^2$;

更具体点， 当我们要求输出向量$b^2$ 的时候，
我们只会考虑输入向量 $a^1,a^2$ 中的 $k^1,k^2$,
而不会去考虑输入向量 $a^3,a^4$ 部分。
也就是 求相关性的分数时， $q$ , $k，v$ 只会 考虑当前输入向量的左侧向量部分， 而不去考虑输入向量后面的右侧部分；

1.3 Transformer 中Cross attetion 交叉注意力

之所以称为交叉注意力，是因为 向量 $q,k,v$ 不是来自同一个模块。

而是将:
来自解码器的输出向量$q$ 与 来自编码器的输出向量 $k,v$ 运算。

具体讲来：
向量 $q$ 与向量 $k$ 之间相乘求出相关性分数: ${{\alpha }_1}^{,}$
相关性分数: ${{\alpha }_1}^{,}$ 在与向量 $v$ 相乘求和，
得出向量 $b$ (图中表示为向量 $v$ ) ;

1.4 Transformer 中Decoder 的运作流程

Decoder 的运作流程是：

1. 经过 Masked self attention:
   解码器之前的输出， 作为当前解码器的输入，
   并且训练过程中， 真实标签的也会输入到 解码器中，
   此时这些输入， 通过一个 Masked self-attention ，
   得到输出$q$向量， 注意到这里的$q$ 是由解码器产生的；

2. 经过 Cross attention:
   将向量$q$ 与 来自编码器的输出向量 $k,v$ 运算。
   具体点： 向量 $q$ 与向量 $k$ 之间相乘求出相关性分数: ${{\alpha }_1}^{,}$ ；
   相关性分数 ${{\alpha }_1}^{,}$ 在与向量 $v$ 相乘求和，
   得出向量 $b$ (前面图中表示为向量 $v$ );

3. 经过全连接层：
   之后向量 $b$ 便被输入到$feed?forward$ 层， 也即全连接层， 得到最终输出；

1.5 Transformer的训练过程

训练启动时，
会输入一个 启动标志向量 start;
输出结束时， 也会输出一个 结束标志向量 end;

1. decoder 会将自己的输出当做接下来的输入；
2. 训练的时候误差采用 minize cross entropy;
3. 测试的时候 的 误差 BLUe score

解决 ：
decoder 先前的输出 错误， 然后使用该 错误 作为decoder 当前的输入， 会导致后面的输出全部错误；

解决方法：
Ground truth 中 加入 部分 错误， schedule sample , 这样会导致 transformer 的平行化能力；

《新程序员》：云原生和全面数字化实践

50位技术专家共同创作，文字、视频、音频交互阅读