IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 跨域行人重识别(REID)Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification 论文阅读与理解 -> 正文阅读

[人工智能]跨域行人重识别(REID)Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification 论文阅读与理解

本文将按照原论文的大标题进行内容概括、理解,最后为总结与思考

01 Introduction

跨域概念介绍:训练集与测试集来源的时间、摄像头位置等具有较大差别,识别目标的所处季节、背景、视角等都发生变化。这就是目标域与源域之间的差距。同时,域内自身会有差距。

解决方法:

  1. 利用GAN完成风格迁移(源域到目标域、目标域内部):从inputl-level(输入级)方,和/或,从feature-level(特征级)方
  2. 在目标域内部无监督或辅助监督:

这些方法背后有一个共同问题:这种适应性通常在特征空间上运行,该特征空间编码 id 相关和 id 无关的因素。因此,id 相关特征的适配不可避免地受到 id 不相关特征的干扰和损害,限制了 UDA 的性能增益。

由于跨域人员重新识别与解耦合和适应问题都有关联,并且现有的方法大多分别处理这两个问题,因此提出一个共同解决这两个问题的原则性框架非常重要。

本论文提出了一种跨域和循环一致的图像生成方法,通过相应的编码器模拟三个潜在空间来分解源图像和目标图像。潜在空间包含捕获 id 相关特征的共享外观空间。【净化特征空间(编码了身份相关与无关的特征,因此后者将对前者产生影响),前者举例:外观等;后者:姿势、位置、背景等】

解耦问题、域适应问题,共同解决相互促进:
(1)解耦合导致更好的适配,因为我们可以使后者专注于 id 相关的特征并减轻 id 不相关特征的干扰
(2)适配反过来改善解耦合,因为共享外观编码器在适配期间得到增强。

02 Related work

文章中详细介绍了其他各类方法,不再展开。

DG-Net++的重要设计:

  1. DG-Net++旨在解决无监督的跨域重 id,而 DG-Net 是在完全监督的设置下开发的。
  2. DG-Net++建立在一个新的跨域循环一致性方案之上,在没有任何目标监督的情况下,将 id相关/不相关因素分离出来。相比之下,DG-Net 采用了通过潜在代码重构的域内解纠缠,并获得了基本的真实身份。
  3. DG-Net++以统一的方式将解纠结与适配无缝融合,使两个模块相互受益,这在 DG-Net 中是没有考虑到的。
  4. 在六个基准对上,DG-Net++在无监督跨域重标识方面显著优于 DG-Net。

03 方法

跨域循环一致性图像生成的示意图
重点:

  1. 将所有特征分为三个空间:Shared appearance space(id相关)、Source structure space与target structure space(均id无关)
  2. 共享外观解码器(shared appearance encoder),将解耦合与域适应相结合
  3. 源域与目标域共享图像和域鉴别器,但有自己的结构编码器和解
    码器
  4. 虚线表示源/目标结构编码器的输入图像被转换为灰度

03.1 解耦合模块

3.1.1 公式

共享外观编码器 E a p p : x ? > v E_{app}: x->v Eapp?:x?>v
源结构空间编码器 E s t r s 、 解 码 器 G … E_{str}^{s}、解码器G… Estrs?G
目标结构空间编码器、解码器
图片鉴别器(域无关性) D i m g D_{img} Dimg?:辨别真实或合成图片
域鉴别器 D d o m D_{dom} Ddom?:辨别源或目标空间
【注:对于合成图像,用上标表示提供外观代码的真实图像,用下标表示提供结构代码的真实图像;对于真实图像,它们只有下标作为域和图像索引。我们的适应和重新识别是使用外观代码进行的。】

3.1.2 跨域生成

跨域cycle-consistency来加强外观与结构特征之间的分离
给定一对源图像和目标图像,我们首先交换它们的外观或结构代码来合成新图像。由于合成图像不存在真实监督,我们利用循环一致性自我监督,通过交换从合成图像中提取的外观或结构代码来重建两幅真实图像。
为了保证图像生成器伪造的质量以及提高特征的判别性,作者用循环一致性损失和交叉熵损失来约束:
在这里插入图片描述
外观编码器损失函数:
在这里插入图片描述在这里插入图片描述

图片鉴别器损失函数:
在这里插入图片描述
除了跨域生成之外,解耦合模块还可以灵活地将域内生成合并为进一步稳定、约束域内的解耦合工具。

03.2 域适应模块

3.2.1 对抗对齐(Adversarial alignment)

为了消除两个域的差异,我们要实现 id-relate 信息也是域无关的,也就是不论是目标域还是源域,对于同一个id的图像,提取的 id-relate 特征应该是相似、对齐的,因此引入了一个domain的判别器D_{dom},其损失为:
在这里插入图片描述
在对抗训练期间,共享外观编码器学习产生其域成员不能被Ddom区分的外观特征,使得跨域外观特征分布之间的距离可以减小。

3.2.2 自训练

它隐式地封闭了共享外观空间中的跨域特征分布距离,同时鼓励有区别的外观特征学习。
用聚类的方法,给目标域的图像打伪标签,用 K-reciprocal 来衡量点对之间的距离,以迭代的方式进行网络微调,获得的伪标签通过交叉熵损失来约束 E a p p E_{app} Eapp?

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-09-07 10:48:58  更:2021-09-07 10:50:36 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 15:51:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码