记录下自己学习transformer学习笔记
Transformer从零详细解读(可能是你见过最通俗易懂的讲解)_哔哩哔哩_bilibili
1.做什么
在在attention is all you need 论文中主要用来进行语句翻译
2.结构
1）编码
?第一部分：输入（embedding/位置编码）
embedding作用：
- 在 embedding 空间中查找最近邻，这可以很好的用于根据用户的兴趣来进行推荐。
- 作为监督性学习任务的输入。
- 用于可视化不同离散变量之间的关系。
位置编码?
以RNN为例子
注意：RNN中V ,W ,U在O，S，X层公用一套参数
RNN是按照顺序进行编码的；Transformer是同时进行，并没有告知词句的顺序，因此在输入阶段需要进行位置编码。
位置编码的公式：
偶数位置使用sin,奇数则是cos
?
2)注意力机制
比如婴儿在干嘛
?
?首先进行Q，K点乘（反应两个物体的相似性，越相似其点积的结果越大）,在求加权和。
举个例子
?a是相似度，相加为1.
?q1=x1·Wq；k1=x1·Wk； v1=x1·Wv；
?divide by 8的原因：score值特别大，softmax值很小，容易造成梯度的消息
÷是为了保证方差为1。
多头注意力机制：使用的是多套参数。效果好，多套使用使得达到多套空间，可以让transformer可以注意到多个子空间的信息。
?残差的作用：缓解了梯度消失的出现
layernormVSBN
为什么Transformer要用LayerNorm？ - 知乎
BN：对所有样本每一个特征都进行
优点
?缺点
第一个, batch_size较小的时候，效果差。（均值与方差代替整体）
第二个缺点就是BN在RNN中效果比较差。（RNN是动态的）
语义信息不同的话 是不能用同一种
3）解码
?
需要对当前单词和之后的单词做mask。
在训练的过程我们是看不到后面的词，如果不mask的话预测和训练存在很大不同，影响实验效果。
?
?
K，V是encoder，Q是本身。
K，V和Q进行交互。
?
?