英伟达发布最强图像生成器StyleGAN2,生成图像逼真到吓人

浏览次数:44 时间:2019-12-18

StyleGAN是 NVIDIA 上一年发布的一个新的图画生成办法,并于本年 2 月开源。

StyleGAN 生成的图画十分传神,它是一步一步地生成人工的图画,从十分低的分辨率开端,一直到高分辨率。经过别离地修正网络中每个等级的输入,它能够操控在该等级中所标明的视觉特征,从粗糙的特征到精密的细节,而不会影响其它的等级。

StyleGAN 生成的人脸 StyleGAN 是现在最先进的高分辨率图画组成办法,已被证明能够在各种数据集上可靠地作业。除了传神的人像,StyleGAN 还能够用于生成其他动物,轿车乃至房间。

但是,StyleGAN 并不完美,最显着的缺点是生成的图画有时包含斑驳似的伪影,而这一缺点今日也被完美处理了!

今日,NVIDIA 的研讨人员发布了StyleGAN 的升级版 StyleGAN2,要点修正 artifacts 问题,并进一步提高了生成图画的质量。


StyleGAN2 生成的图画 


首要改进包含:

从头规划 StyleGAN 图画组成网络

StyleGAN 的显着特点是其十分规的生成器架构。映射网络 f 不只将输入的 latent code z Z输入到网络的最初,并且还先将它转换成一个中心 latent code w W。仿射改换随后发生款式,经过 adaptive instance normalization 操控组成网络 g 的层。

在本研讨中,咱们将一切的剖析都会集在W上,由于从组成网络的视点来看,W是相关的潜在空间。

许多人现已注意到 StyleGAN 生成的图画中的特征伪影。本研讨确认了这些伪影的两个原因,并描绘了怎么经过改动架构和练习办法消除它们。

Instance normalization 会导致 StyleGAN 生成的图画中呈现斑驳状的伪影

首要,咱们研讨了常见的斑驳状 artifacts 的来源,并发现生成器创立它们是为了躲避其架构中的规划缺点。咱们从头规划了生成器中运用的 normalization,然后删除了 artifacts。

其次,咱们剖析了与progressive growing 相关的 artifacts,progressive growing 在安稳高分辨率 GAN 练习方面十分成功。咱们提出了一种代替的规划,能够到达相同的意图 练习开端时会集在低分辨率的图画上,然后逐渐地将注意力转移到越来越高的分辨率上 在练习过程中不改动网络拓扑结构。这种新的规划还答应咱们对生成图画的有用分辨率进行推理,其成果比预期的要低,然后激起咱们能够规划更大容量的模型。

从头规划了 StyleGAN 图画组成网络

如图所示,是原始的 StyleGAN,其间A标明从W学习的仿射改换,发生了一个 style;展现了原始 StyleGAN 架构的细节。在这里,咱们将 AdaIN 分化为先显式归一化再调制的形式,对每个特征图的均值和标准差进行操作。咱们还注释了学习的权重、误差和常量输入,并从头制作了灰色框,使每个框都激活一个 style。激活函数总是在增加偏置后当即运用。如所示,咱们对原始架构做了几处改动,包含在开端时删除了一些冗余操作,将b和B的增加移动到 style 的活动区域之外,并只调整每个 feature map 的标准差。是修正后的架构,使咱们能够用 demodulation 操作代替 instance normalization,咱们将 demodulation 操作运用于与每个卷积层相关的权重。


用 demodulation 代替 instance normalization,能够去除图画和激活中的特征伪影。


如图所示,从头规划的 StyleGAN2 架构消除了特征伪影,一起保存了彻底的可控性。

对 GAN 生成的图画质量进行定量剖析仍然是一个具有挑战性的课题。Frechet inception distance 测量了 InceptionV3 分类器的高维特征空间中两种散布密度的差异。Precision 和 Recall 经过清晰量化生成的与练习数据类似的图画的百分比和能够生成的练习数据的百分比,供给了额定的可见性。咱们运用这些目标来量化 StyleGAN2 的改进。


首要成果


FID 根本不受影响,但是有一个显着的改变,从 precision 到 FID 有显着的改变。

FID 和P R都根据分类器网络,最近的研讨标明,分类器网络侧重于纹路而不是形状,因而,这些目标不能精确地代表图画质量的一切方面。咱们将感知途径长度目标作为一种估量潜在空间插值质量的办法,该目标与形状的一致性和安稳性相关。在此基础上,咱们将组成网络正则化,以支撑滑润映射,并取得显着的质量改进。为了抵消核算开支,咱们还主张减小履行一切正则化的频率,由于这样做不会影响功率。

新办法代替 Progressive growing,细节更完美

Progressive growing 已被证明在安稳高分辨率图画组成方面十分成功,但它会发生自己的特征伪影。要害问题在于,渐进式增加的生成器在细节上好像有很强的方位偏好,例如,当牙齿或眼睛等特征在图画上滑润移动时,它们可能会停留在本来的方位,然后跳到下一个首选方位。

下图显现了一个相关的 artifact。咱们以为问题在于,在 progressive growing 中,每个分辨率暂时充任输出分辨率,迫使它发生最大的频率细节,然后导致练习后的网络在中心层频率过高,献身了平移不变性。


Progressive growing 导致了 phase artifact。在这个比如中,牙齿没有跟从姿态改变,脸转向了一侧,牙齿仍面向正前方,如蓝线所示。


为了处理这些问题,咱们提出一种代替的办法,在保存 progressive growing 优势的一起消除了缺点。

尽管 StyleGAN 在生成器和鉴别器中运用简略的前馈规划,但仍有很多作业致力于研讨更好的网络架构。特别是,skip connections [34, 22], 残差网络 [17, 16, 31]和分层办法 ,这些办法现已被证明是十分成功的。因而,咱们决议从头评价 StyleGAN 的网络规划,并寻觅一种能够生成高质量图画而不需要 progressive growing 的架构。


三种生成器和鉴别器架构。


图a展现了 MSG-GAN[22],它运用多个 skip connections 衔接生成器和鉴别器的匹配分辨率。

在图b中,咱们经过对不同分辨率对应的 RGB 输出进行向上采样和求和来简化这种规划。在鉴别器中,咱们相同向鉴别器的每个分辨率块供给下采样图画。咱们在一切上采样和下采样操作中都运用了双线性滤波。

在图c中,咱们进一步修正了规划,以运用残差衔接。这种规划类似于 LAPGAN[7]。

下表比较了三种生成器和鉴别器架构:用于 StyleGAN、skip connections 和残差网络的原始前馈网络,它们都经过了练习,但没有选用 progressive growing。


没有选用 progressive growing 的生成器和鉴别器结构的比较。


关于这 9 种组合,每一种都供给了 FID 和 PPL 成果。咱们能够看到两个大的趋势:生成器的 skip connections 大大改进了一切装备的 PPL,而残差鉴别器网络显着有利于 FID。

StyleGAN2 运用了一个 skip generator 和一个残差鉴别器,但没有运用 progressive growing。这对应于表 1 中的装备E,从表中能够看出,切换到这种设置显着地改进了 FID 和 PPL。

最终,咱们发现运用新的途径长度正则化生成器将图画投影到潜在空间W上的作用显着优于原始 StyleGAN。

论文地址:https://arxiv.org/pdf/1912.04958.pdf

代码和经过练习的模型已开源:https://github.com/NVlabs/stylegan2

 

Copyright © 2018 凯发娱乐亚洲第一门户网站凯发娱乐亚洲第一门户网站-凯发娱乐网址 All Rights Reserved