[人工智能]Transformer的几点总结

1、关于pad_mask：目的是为了让pad的词，在计算softmax之前的时候，置为负无穷，不参与计算，对其他词产生的影响为0。

2、关于self attention里面的各种形状变换，可以分为两种。 1.线性模型其实也是一种变换，只不过是改变的是最后一个维度的数值。前面维度的数值不改变。? 2.关于不同维度间的调换、扩展、缩小，复制、从而实现三维变四位、四维变三维； 但目的是为了：让一个词的embeding和另外一个词的embeding进行交互，避免让一个词的embeding进行分开，切记。

3、LSTM其实是一种线性变化，和其内部都是线性变换，其代码传入的参数，input_size和output_size和线性变换的也比较类似，甚至可以说是一样。

4.Transformer的encoder部分和decoder部分都是串行和并行都有的。 各头之间是并行的，各层之间是串行的。

5.Transformer的输入，word? embeding和position embeding也是相加到一起的。维度一样。