1.目标检测并抽取ROIAlign特征，得到主语、宾语、union box的特征xs、xo、xu
2.局部交互头（图中a）：计算node特征
具体如下图：
输入：[xs||xo||xu]，||表示cat
node特征计算方法：
其中：q/k/v：注意力的转换矩阵
αij是第i个物体和第j个物体之间的权重
其中：f：转换函数，最后加的xi是残差连接
zij是第i个物体和第j个物体的联合特征
第i个物体和其他所有物体的联合特征，一起构成了第i个物体局部交互后的特征，即zi，按照这样的方法得到了zs，zo和zu
3.编码关系的方向：计算edge特征
具体如下图：
edge特征计算方法：
按照SUO、SOU、USO这三种排列顺序（主语要在宾语之前）做特征拼接，再通过一个MLP分别得到三个特征，求和这三个特征作为最终的edge特征
对一个主宾对person-horse，首先把person当做主语，把horse当做宾语，训练一遍；再把horse当做主语，把person当做宾语，再训练一遍，MLP为这两种输入产生不同的输出，这样MLP就知道了关系的方向。
4.全局交互头：graph消息传递
初始图特征：N为结点特征，ξ为边特征
图特征更新：第l层的图特征
其中的A：把node和edge都看作实体，node有N个，edge有M个，如果它们彼此有联系，则A的对应位置为1，否则为0，
A由node-node，node-edge，edge-node，edge-edge这四个连接矩阵构成
A_hat = A + I，是为了保持原始信息
判定有联系的依据如下图所示：
蓝色为node，绿色为edge，
①node-node：所有的结点对之间都是有关联的
②node-edge：构成一个关系三元组的node-edge之间是有关联的
③edge-edge：只有存在相反的两条edge时，才是有关联的（就是存在person-ride-horse，和horse-under-person这两条关系）
因为这个模型是端到端的，所以最终的图特征矩阵Gl的前N行用于物体分类，后M行用于谓语分类
5.Attract and Repel Loss（吸引和排斥损失）：用于谓词类别聚类
其中：
rmt：第m种谓词在第t个batch时计算的特征，m有51类（加背景）
pos：真实谓词为m，预测正确
neg：真实谓词为m，预测错误
ei’：针对谓词m，预测正确的谓语嵌入特征
ej’：针对谓词m，预测错误的谓语嵌入特征
N(·)：·的edge数量，N(pos)就是pos的数量
Lar实际上就是一个余弦相似度，对于预测正确的谓语，让它的模型输出嵌入特征和真实的谓语嵌入特征尽可能相似，对于预测错误的谓语则相反。
总loss：整个模型是一个端到端的，Lent是物体分类损失，Lpred是谓语分类损失，Lar如上
-------------------------一些碎碎念-----------------------
refine完了。
今天听了师兄师姐的开题答辩练兵，就牛得很握草。
超级厉害了属于是。
实名羡慕.jpg