本文将按照原论文的大标题进行内容概括、理解,最后为总结与思考
01 Introduction
跨域概念介绍:训练集与测试集来源的时间、摄像头位置等具有较大差别,识别目标的所处季节、背景、视角等都发生变化。这就是目标域与源域之间的差距。同时,域内自身会有差距。
解决方法:
- 利用GAN完成风格迁移(源域到目标域、目标域内部):从inputl-level(输入级)方,和/或,从feature-level(特征级)方
- 在目标域内部无监督或辅助监督:
这些方法背后有一个共同问题:这种适应性通常在特征空间上运行,该特征空间编码 id 相关和 id 无关的因素。因此,id 相关特征的适配不可避免地受到 id 不相关特征的干扰和损害,限制了 UDA 的性能增益。
由于跨域人员重新识别与解耦合和适应问题都有关联,并且现有的方法大多分别处理这两个问题,因此提出一个共同解决这两个问题的原则性框架非常重要。
本论文提出了一种跨域和循环一致的图像生成方法,通过相应的编码器模拟三个潜在空间来分解源图像和目标图像。潜在空间包含捕获 id 相关特征的共享外观空间。【净化特征空间(编码了身份相关与无关的特征,因此后者将对前者产生影响),前者举例:外观等;后者:姿势、位置、背景等】
解耦问题、域适应问题,共同解决相互促进: (1)解耦合导致更好的适配,因为我们可以使后者专注于 id 相关的特征并减轻 id 不相关特征的干扰 (2)适配反过来改善解耦合,因为共享外观编码器在适配期间得到增强。
02 Related work
文章中详细介绍了其他各类方法,不再展开。 。 DG-Net++的重要设计:
- DG-Net++旨在解决无监督的跨域重 id,而 DG-Net 是在完全监督的设置下开发的。
- DG-Net++建立在一个新的跨域循环一致性方案之上,在没有任何目标监督的情况下,将 id相关/不相关因素分离出来。相比之下,DG-Net 采用了通过潜在代码重构的域内解纠缠,并获得了基本的真实身份。
- DG-Net++以统一的方式将解纠结与适配无缝融合,使两个模块相互受益,这在 DG-Net 中是没有考虑到的。
- 在六个基准对上,DG-Net++在无监督跨域重标识方面显著优于 DG-Net。
03 方法
重点:
- 将所有特征分为三个空间:Shared appearance space(id相关)、Source structure space与target structure space(均id无关)
- 共享外观解码器(shared appearance encoder),将解耦合与域适应相结合
- 源域与目标域共享图像和域鉴别器,但有自己的结构编码器和解
码器 - 虚线表示源/目标结构编码器的输入图像被转换为灰度
03.1 解耦合模块
3.1.1 公式
共享外观编码器
E
a
p
p
:
x
?
>
v
E_{app}: x->v
Eapp?:x?>v 源结构空间编码器
E
s
t
r
s
、
解
码
器
G
…
E_{str}^{s}、解码器G…
Estrs?、解码器G… 目标结构空间编码器、解码器 图片鉴别器(域无关性)
D
i
m
g
D_{img}
Dimg?:辨别真实或合成图片 域鉴别器
D
d
o
m
D_{dom}
Ddom?:辨别源或目标空间 【注:对于合成图像,用上标表示提供外观代码的真实图像,用下标表示提供结构代码的真实图像;对于真实图像,它们只有下标作为域和图像索引。我们的适应和重新识别是使用外观代码进行的。】
3.1.2 跨域生成
跨域cycle-consistency来加强外观与结构特征之间的分离 给定一对源图像和目标图像,我们首先交换它们的外观或结构代码来合成新图像。由于合成图像不存在真实监督,我们利用循环一致性自我监督,通过交换从合成图像中提取的外观或结构代码来重建两幅真实图像。 为了保证图像生成器伪造的质量以及提高特征的判别性,作者用循环一致性损失和交叉熵损失来约束: 外观编码器损失函数:
图片鉴别器损失函数: 除了跨域生成之外,解耦合模块还可以灵活地将域内生成合并为进一步稳定、约束域内的解耦合工具。
03.2 域适应模块
3.2.1 对抗对齐(Adversarial alignment)
为了消除两个域的差异,我们要实现 id-relate 信息也是域无关的,也就是不论是目标域还是源域,对于同一个id的图像,提取的 id-relate 特征应该是相似、对齐的,因此引入了一个domain的判别器D_{dom},其损失为: 在对抗训练期间,共享外观编码器学习产生其域成员不能被Ddom区分的外观特征,使得跨域外观特征分布之间的距离可以减小。
3.2.2 自训练
它隐式地封闭了共享外观空间中的跨域特征分布距离,同时鼓励有区别的外观特征学习。 用聚类的方法,给目标域的图像打伪标签,用 K-reciprocal 来衡量点对之间的距离,以迭代的方式进行网络微调,获得的伪标签通过交叉熵损失来约束
E
a
p
p
E_{app}
Eapp?
|