Self-attention想要解决的问题是，目前的network的input都是一个向量，输出可能是一个类别、数值（regression），但当输入为一排向量，且向量数目会改变。（每次model的输入sequence长度不一）
情况1：输入的多种情况：
?例1：假如输入是一个句子，每一个词汇表示为一个向量（用one-hot编码的方式，向量维度特别大，看不出来每个词汇之间的相似性，类似狗、猫都属于动物类；故引入另一种编码方式，word embedding给每个向量带上了语义，所有的同一类词汇会聚集在一起；每次vector size大小都不一样）。
? ? ? ? ? ? ?Word embedding会给每一个词汇一个向量，一个句子就会有一排长度不一的向量。
例2：一段声音信号其实是一排信号，首先对一段声音信号去一个范围（窗口），一个窗口的信号表示为一个frame（向量）。1s的声音信号可以分为100frames（向量），1分钟的则有6000个向量，很复杂的、信息量很可观。
?例3：一个图也是一堆向量，social network就是一个graph。
????????每一个节点就是一个向量（这个向量就包括人名、年龄等等信息）。
例4：一个分子也可以当作多个向量。
?????????分子上的每一个原子就是一个向量。
输出的多种情况：
例1：输入与输出长度相同：
?应用：词性标注，语音每一个vector对应的音标，social network上每一个节点是否买东西。
例2：输入是一堆向量，输出是一个label。
应用：产品上线进行评论，机器一段声音判断说话人，给一个分子图预测分子的某一个性质。
例3：机器自己决定输出多少维。（seq2seq）
?应用：机器翻译。
详细讲解情况一：输入与输出一一对应：称为sequence labeling.
将每一个输入放入到FC网络中，获得所需要的结果。但是有瑕疵，当进行词性标注时，不同地方的同一词汇，词性是不同的。（第一个是动词，第四个是名词）
?
?
故想在网络中考虑到引入上下文信息：（将该向量的前后几个向量串起来，前五个frame加后5个frame，一共11个），此方法仍有瑕疵：当我们有一个任务不是考虑一个window就可以，而是需要考虑整个sequence-à开一个大的window，fc的参数会非常大而且很容易过拟合--à引入self-attention解决该问题。
Self-attention：输入一整个sequence，输入几个vector会输出几个vector，输出的vector是考虑整个句子获得的结果。
可以将多个self-attention和FC交叉使用。
? ? ?《attention is all you need》-à提出了transform结构：
Self-attention输入可能是input也可能是一层隐藏层作为输入（所以用a表示）。
如何产生b1向量：根据a1有一特定机制寻找sequence中与a1相关的词汇（有一α衡量那些词与a1相关性强，那些相关性弱（关联程度））。
Model如何每个决定向量与a1的关联程度α。计算attention的各种模组：
如何应用：一般a1也会与自己计算关联性：
进行一个softmax（也可以用relu什么的，没有规定）
根据α取出sequence中的重要向量：（每一个向量都乘以分数）
B1-b4是同时计算产生的。
