这个GAN没见过猪，却能把狗变成猪( 二 )

首先，该模型可以实现范围广泛的域外自适应，从纹理变化到大的形状修改，从现实到魔幻风格……甚至包括一些收集高质量数据成本很高的目标域。
其次，所有的这些图片的生成都只需给一个简单的文字描述，除了极端情况，大多数训练只需几分钟就能完成。
对于基于纹理的修改目标，该模型通常需要300次迭代， batchsize为2 ，在一个NVIDIAV100GPU上训练大约3分钟。在某些情况下（比如从“照片”到“草图”），训练只需不到一分钟的时间。
然后，所有的实验用的就是这个完整当然模型，没有添加任何latentmapper 。研究人员发现，对于纯粹是基于样式的图像生成，模型需要跨所有层进行训练，比如下面这种：

文章图片
而对于较小的形状修改，则只需训练大约2/3数量的层数就能折中保持训练时间和效果：

文章图片
最后，将该模型与StyleCLIP（结合了StyleGAN和CLIP的域内图像编辑模型）、以及只用了Gfrozen生成器的模型对比发现，只有StyleGAN-NADA可以实现目标。

文章图片
再将零样本的StyleGAN-NADA与一些少样本的图像生成模型对比发现，别的都要么过拟合要么崩溃（MineGAN更是只记住了训练集图像），只有StyleGAN-NADA在保持多样性的情况下成功生成（但它也有伪影出现）。

文章图片
下面是消融实验：

文章图片
△通过训练latentmapper可以进一步提高生成质量
ps.在论文的最后，研究人员表示：
由于这项技术，也许在不久的将来，这类图像生成的工作将不再受到训练数据的约束，而只取决于我们的创造力。
【这个GAN没见过猪，却能把狗变成猪】论文地址：https://arxiv.org/abs/2108.00946GitHub地址：https://github.com/rinongal/StyleGAN-nada参考链接：https://stylegan-nada.github.io/