去除双下巴有奇招，浙大00后本科生全新美颜算法登上ACM SIGGRAPH

机器之心专栏
机器之心编辑部
浙江大学计算机辅助设计与图形学国家重点实验室和浙江大学-腾讯游戏智能图形创新技术联合实验室的研究者们提出了训练StyleGAN隐空间中精细的分离边界的方法，仅用一个向量就能在保持其它面部特征不变的情况下进行语义特征编辑。该方法在去除双下巴等应用中效果显著。
随着社交网络、直播以及短视频的流行，为了给别人留下更好的印象，人脸编辑「美颜」的应用范围越来越广泛，不断发展的科学技术使人脸编辑产生了非常多的研究分支。其中，生成对抗网络（GAN）的隐空间一直是个热点问题，现在越来越多的工作把注意力放在隐码的操控和隐空间中的语义解耦上。 StyleGAN是一种可生成高质量人脸图像的生成对抗网络，其隐空间具有非常好的线性特性。利用StyleGAN的这一特征可以实现高质量、应用场景广泛的人脸编辑。但是，如何在改变特定特征的同时保持其它无关特征不变，即进行特征的解耦，仍然是一个难题。
为解决这一问题，浙江大学计算机辅助设计与图形学国家重点实验室和浙江大学-腾讯游戏智能图形创新技术联合实验室可研究者们提出了训练StyleGAN隐空间中精细的分离边界的方法，仅用一个向量就能在保持其它面部特征不变的情况下进行语义特征编辑。
以去除双下巴为例，该方法效果显著：

文章图片
图1：具有双下巴的肖像图像(第一排) ，去除双下巴后的新肖像(第二排) 。
该研究的论文《Coarse-to-Fine:FacialStructureEditingofPortraitImagesviaLatentSpaceClassifications》已被计算机图形学顶级国际学术会议ACMSIGGRAPH2021接收。

文章图片
论文地址：http://www.cad.zju.edu.cn/home/jin/sig2021/sig2021.htm
研究方向
在CV领域里，生成对抗网络的隐空间一直是个热点问题，现在越来越多的工作把注意力放在隐码的操控上。 InterFaceGAN探究了生成对抗网络的隐空间是怎么进行编码的，并且提出了使用一个分离边界对语义属性进行编辑的方法；In-domainGAN能够将输入的图像反转到生成对抗网络的隐空间中，并且作为正则器对隐码进行微调，并提出一种语义扩散的方法。
鉴于隐空间对于StyleGAN研究的重要性，越来越多的工作开始关注如何高效、高质量地将图像反转回StyleGAN的隐空间中，并得到相应的隐码；在此基础上，基于StyleGAN的投影器可以将图像直接反转回隐空间，从而进行图像到图像的转换，实现人脸姿态改变、人脸之间的线性插值等等功能， Image2StyleGAN能够将图像反转回隐空间并且进行语义编辑。
将隐码和3D模型结合也可以参数化调整人脸特征， GIF在一种生成3D人脸模型（FLAME）上应用StyleGAN ，从而对生成的图像进行显式控制；StyleRig则基于StyleGAN和3DMM进行面部绑定控制，参数化调整人脸。
研究思想
新研究的核心思想是训练StyleGAN隐空间中精细的分离边界。分离边界是由InterFaceGAN提出的一种隐空间中的超平面，但是InterFaceGAN训练出的分离边界无法分离无关特征。本文提出精心设计的训练流程，生成成对的仅有特定特征改变的隐码（在去除双下巴的例子中，这些隐码除了有无双下巴外，其它特征基本保持一致），从这些成对隐码中训练精细的分离边界，从而实现面部结构编辑。
该研究首先训练一个双下巴分类器，根据双下巴的有无，对StyleGAN的隐空间中的隐码进行评分，随后使用随机采样的隐码及其对应的下巴评分进行训练，得到一个粗糙的分离边界，用来合成没有双下巴的中间肖像。在这过程中，其它面部特征，如人脸形状和姿势，在被粗糙的分离边界编辑后不能很好地保存。