?
a.不同模态之间集合级别和实例级别存在巨大差异
b.集合级别对齐 减小集合之间的距离 会造成个别实例不对齐。
c.首先生成跨模态的成对图像
d.最小化每对图像之间的距离 来执行实例级对齐。
在行人reid中：
全部图片都是不配对的，因为是在不同时间拍摄的。
ir图像到RGB图像是一对多关系，cycleGAN和starGAN只能处理一对一映射并且会产生噪声。
JSIA-REID :我们的方法可以通过分离模态特定和模态不变的特征来执行集合级对齐,与只用一个编码器进行编码的图像相比，我们的方法可以显式地去除模态特定的特征，并显著地减少模态间隔
给定一个人的交叉模态未配对图像，可以生成交叉模态配对图像。(j配对是指同一姿势状态的照片 视角相同。)
生成模块G包括三个编码器和两个生成器，三个编码器将RGB（IR）图像分解为模态不变和RGB（IR）模态特定特征，然后，RGB（IR）解码器将来自IR（RGB）图像的模态不变特征和来自IR（RGB）图像的模态特定特征作为输入，通过对交叉特征进行解码，我们可以生成交叉模态成对图像，
在特征对齐模块F中，我们首先使用一个编码器，其权重与模态不变编码器共享。它可以将不同形态的图像映射到一个共享的特征空间。因此，集合级别的模态间隙可以显著减小。然后，我们进一步引入编码器来细化特征，通过最小化每对跨模态图像的特征映射之间的距离来减少实例级模态间隔，最后，通过re_id Loss对生成模块 g 和特征对齐模块 f 联合训练，我们可以同时学习模态对齐特征和身份鉴别特征.
该方法首先将图像分解为模态不变特征和模态特定特征，通过对交换得特征进行解码，生成跨模态的成对图片（配对）。
跨模态配对图像生成模块：
我们假设图像可以分解为模态不变和模态特定的特征，前者包括姿势、性别、服装类别和携带等内容信息，后者具有服装/鞋子颜色、纹理等样式信息。通过分离和交换它们的样式信息，我们可以生成成对的图像，其中两个图像具有相同的内容信息（如姿势和视图），但具有不同的样式信息（如衣服颜色）
1.特征分离：使用三个编码器进行特征分离，模态不变编码器Ei 学习两种模态的内容信息。RGB-特定模态编码器-Es(rgb)学习rgb风格信息，红外线特定模态编码器Es(ir)学习红外线风格信息。
?
?
2.配对图像生成
使用两个解码器生成成对图像，包括生成RGB图像的RGB解码器Drgb和生成IR图像的IR解码器Dir。
使用两个解码器生成成对的图的样像，在得到等式（1）和等式（2）中的分离特征后，我们可以通过交换它们式信息来生成成对图像。为了确保生成的图像与原始图像具有相同的身份，我们仅在人内交换。
?
重建损失：
迫使分离的特征重建他们原始的图像，
?
使用解码器对不变特征和特定特定特征进行解码 与原始图像计算loss 达到重建图像。
循环一致性损失：重建损失Lreconin不能监督跨模态成对图像的生成，生成的图像可能不包含失效的内容和样式信息，
循环一致性损失：
?
GANloss：
上面两种损失导致模糊图像，为了使生成的图像更真实，我们应用了对抗性损失，具体来说，我们引入了两个鉴别器DISRGB和DISIR，分别在RGB和IR模式上区分真实图像和生成图像，编码器和解码器的目的是使生成的图像无法区分
特征对齐模块：
集合特征对齐：使用集合级别的编码器学习集合级对齐特征 ，同时与Ei共享权值，（Ei被训练用于移除特定特征）这样就能对两种模态的不变特征进行对齐，移除特定特征的干扰。
M=Esl(x)
INstance-level FeatureAlignment ：
我们首先利用实例级编码器Eil将集合级对齐的特征M映射到新的特征空间T，T=Eil（M），在此基础上，通过最小化他们的相对熵，对配对的跨模态图片进行对齐
?
身份鉴别特征学习：
将实例级对齐空间T 映射成向量 V，用全连接层实现的分类器，
?
计算余玄相似度进行匹配。?
?
?