IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 活体检测 Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing 论文学习记录 -> 正文阅读

[人工智能]活体检测 Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing 论文学习记录

论文链接https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Domain_Generalization_via_Shuffled_Style_Assembly_for_Face_Anti-Spoofing_CVPR_2022_paper.pdf

动机

人脸识别系统经常遭到诸如打印纸张、视频重播、3D 头模的表示攻击,一系列的 FAS 方法被提出来解决这些问题。近期,基于域泛化 (DG) 的 FAS 方法由于能在未知域中有良好的表现而受到越来越多的关注。然而,这些方法没有充分利用全局和局部图像统计的属性。此外,风格迁移可以将内容特征作为全局数据、风格特征作为局部数据进行重组,形成用于特定监督的风格化特征,如下图所示:

创新点

1)将完整的特征分为内容和风格特征,提出了?shuffled style assembly network (SSAN),该网络基于特征级风格迁移

2)为了增强与活体相关的风格信息并抑制特定域的风格信息,采用对比学习方法来控制靠近或远离 anchor 特征的风格化特征

方法论

SSAN 的整体网络结构如下图所示,首先使用两个分支来分别提取内容和风格特征并对信息进行聚合。接着,提出了一个风格打乱及重组方法来组合不同的内容和风格特征,形成风格化的特征空间。为了抑制特定于域的风格信息并增强活体相关信息,作者在风格化特征空间中使用了对比学习。

内容和风格信息聚合

内容信息通常由 FAS 中的公共因子表示,主要包括语义特征和物理属性。而风格信息描述了一些判别线索,它在 FAS 任务中可以分为两类:特定域的风格信息和与活体相关的风格信息。因此,在 SSAN 中,内容和风格特征分别由两个分支提取。具体来说,特征生成器作为浅层嵌入网络,可以捕获多尺度低级信息。随后,内容和风格特征提取器通过使用特定的归一化层(即 BN 和 IN)来收集不同的图像统计信息。

针对内容信息聚合,作者基于下列事实推测不同域存在小的分布差异:1)虽然样本可能来自不同的域,但它们都包含脸部区域,因此它们共享了一个有共同语义的特征空间;2)无论是真人脸还是假人脸,它们的形状和大小等物理属性往往是相似的。因此,作者使用对抗学习进行训练,使得模型无法区分生成的不同域的内容特征。具体来说,内容特征生成器的参数通过最大化对抗性损失函数来优化,而域判别器的参数则在相反的方向上进行优化。公式如下:

其中,Y_{D}?是域标签集,M 是域的个数,G 和 D 分别表示内容特征生成器和域判别器。

对于风格信息聚合,由于风格特征的尺度不同,作者以类似金字塔的方法收集多层特征。

打乱风格重组

Adaptive Instance Normalization (AdaIN) 是一种自适应风格迁移方法,它能对内容输入 x 以及风格输入 y 进行重组,公式如下:

其中,\alpha?和?\beta?是由风格输入 y 产生的仿射参数。

作者提出了?style assembly layers (SAL) 来组合内容特征和风格特征,SAL 由 AdaIN 以及带有残差结构的卷积组成,公式如下:

其中,K_{1}?和K_{2}?为 3*3 卷积。然而,f_{s}?同时包含了与活体相关的信息以及特定于域的信息,后者可能会使网络学到偏差信息。为了缓解这个问题,作者提出了 SSA 来形成风格化特征以进行域泛化。假设 batch size 为 N,x_{i}?为其中的一个输入,它的内容特征可以表示为f_{c}(x_{i}),风格特征表示为f_{s}(x_{i}),相应的重组特征空间 S 可以表示为:

此外,为了利用与活体相关的风格特征,作者通过打乱原始对 ?来合成辅助特征空间,公式如下:

风格特征的对比学习

作者提出了一种对比学习方法来强调与活体相关的风格特征以及抑制特定于域的风格特征。在重组完内容特征及风格特征后,就得到了以及。对于前者,作者将它输入到分类器中,并使用二分类 GT 来监督。对于后者,作者使用余弦相似度来测量它们与前者的差异,公式如下:

?被设置为风格化特征空间中的 anchor,如下图所示,

作者使用?stop-gradient (stopgrad) 来固定在特征空间中的位置,随后?被拉近或者远离 anchor,对比学习的公式如下:

模型的伪代码如下:

损失函数

实验结果

在源域有限的条件下,与其他算法的对比实验结果如下:

消融实验结果如下:

与 SOTA 方法的实验对比结果如下:

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-08-19 19:04:57  更:2022-08-19 19:05:58 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/28 18:34:10-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计