前言
StarGAN v2: Diverse Image Synthesis for Multiple Domains? (多域多样性图像合成)?In CVPR 2020.?
Paper:?https://arxiv.org/abs/1912.01865 Video:?https://youtu.be/0EVh5Ki4dIY
The controbute:
StarGAN V2 solves two major challenges of image conversion:? 1、Converts images of one domain into multiple images of the target domain(将一个域的图像转换为目标域的多种图像) 2、and suports multiple target domains.(并支持多个目标域)
Experimental results show that the proposed method can generate rich style/style images across multiple domains, and is obviously superior to the previous methods.(实验结果表明,所提方法可以跨多个域生成样式/风格丰富的图像,并明显优于以前的方法。此外,还发布了一个新的动物面孔数据集(AFHQ)。)
1 概要
So let's just look at what's generated:
2 背景
-
图像转换旨在学习不同视觉域之间的映射。这里,domain表示一组图像,被分组的依据可以是视觉上具有某种属性/类别。而每幅图像有独特的外观,称为样式/风格style。例如,可根据人的性别设置图像域domain,在这种情况下,风格样式包括妆容类别、胡须和发型等。 -
理想的图像转换方法应能合成:考虑到每个域中的不同风格样式的图像。但设计和学习此类模型会变得很复杂,因为数据集中可能有大量的style和domain。 -
针对style的多样性,目前已有许多图像转换方法。但这些方法大都仅考虑两个域之间的映射,例如K个域,这些方法需要训练K(K-1)生成器来处理每个域与每个域之间的转换,限制了它们的实际使用。 -
为此,一些研究提出更具扩展性、统一的框架,StarGAN便是最早的模型之一,它使用一个生成器来学习所有可用域间的映射。生成器将域标签作为附加输入,并将图像转换到相应的域。但StarGAN仍然学习每个域的确定性映射,没有捕获数据分布的多模式;该限制的来由是每个域都由预定标签指示引导。注意到生成器接收固定的标签(例如one-hot向量)作为输入,在给定源图像下,每个域都产生相同输出。
更多的细节还是要看论文和网站:StarGAN第2版:多域多样性图像生成
|