2021.4，效果排名第23（papers with code）
模型原理
思想：将transformer引入异常检测领域，将基于生成重构的问题转化为inpainting问题（将图像某些区域覆盖然后恢复，可视为自监督方法），使用transformer来进行大感受野的信息捕捉。?
Patch Embeddings and Multihead Feature Self-attention
Patch embeddings
如图，将输入的图分成16*16的网格图，再从网格图中随机选取7*7大小的图，构成张量[252,49,768]（batchsize：252，7*7:49，16*16*3（RGB通道）：768）。经全连接层转换为[252,49,512]，输出到网络的图是[252,49,512]（包括未被掩盖的块和为补充位置关系而加的层），[252,768]（被掩盖的块）。
Multihead Feature Self-attention MFSA多头注意力机制
query，key，value张量均为输入的图[252,49,512]，query，key经（MLP）两个全连接层（层间设置激活函数）输出[252,49,256]，再转换张量的布置输出[252,8,49,32]，value经一个全连接层（不设置激活函数）输出[252,49,256]，再转换张量的布置输出[252,8,49,64]。
key张量再转换[252,8,32,49]与query张量相乘后除得张量[252,8,49,49]。经softmax返回张量p_attn[252,8,49,49]，将p_attn与value相乘返回张量value_pro[252,8,49,64]。
将value_pro经转换经全连接后输出张量[252,49,512]。
Network Architecture and Training
将输入的张量经全连接层gelu激活再经全连接层。
--------------------------------------------
?
通过MSFA与MLP搭建transformer，后输出张量[252,49,512]，求平均，经全连接层输出[252,768]。
映射成图[252,3,16,16]，计算损失函数，损失函数包括L2损失/结构相似度损失（structural similarity）/梯度幅度相似度损失（gradient magnitude similarity）
实验
细节：transformer的训练时间比较长，有些时候需要超过500个epoch。当验证集loss超过50个epoch都没有明显下降，则停止训练，并选择最优的模型进行评估。
消融实验：长连接，MSA与MFSA，窗口的长度（原文为7）。
参考