不止女娲能捏小人！上海科技大学团队提出动态人像生成系统

文章图片
新智元报道
来源：arXiv
编辑：Priscilla好困
【新智元导读】上海科技大学和加州大学圣地亚哥分校的研究人员提出了一种新的人像生成系统，不仅能够单独控制人像中的不同属性，还能让用户从无到有即时创建出一个彩色的人像。
大家都知道，用GAN可以进行人像的生成。
但在GAN学习的潜在空间里，人的姿势、形状和纹理样式等不同属性通常都是结合在一起的。
那么想控制某个特定部位的属性怎么办？

文章图片
为此，来自上海科技大学和加州大学圣地亚哥分校的研究团队就提出了名为「SofGAN」的人像生成系统。

文章图片
论文地址：https://arxiv.org/pdf/2007.03780.pdf
项目地址：https://apchenstu.github.io/sofgan/
这个系统将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。
从两个子空间采样的潜在代码分别馈送到两个网络分支：一个生成具有规范姿势的肖像的3D几何图形，另一个生成纹理。
对齐的3D几何还带有语义部分分割。
编码为语义占用字段SOF ，能够在任意视图上渲染一致的2D语义分割图。
然后将其与生成的纹理图融合，使用语义实例（SIW）模块，处理为人像照片。
也就是说，这个系统可以单独控制人像的头发、眼睛、眼镜、皱纹和肤色，生成高质量肖像图像。

文章图片
这个方法还可以推广到各种应用中，例如制作外观一致的面部动画和动态造型。
解耦表征
这项工作的主要贡献是「解开」已学到的面部特征，例如姿势和纹理，这样SofGAN也可以生成与不正对相机的视角的图像。

文章图片
作者从图像渲染系统中吸取灵感，提出了将图像场景解耦为几何空间和纹理空间的方法。
同时将传统的占用字段扩展到语义占用字段（SOF）以模拟肖像几何。
SOF描述了每个空间点在k语义类上的概率分布，包括头发、脸、脖子、衣服等。
用SofGAN合成图像步骤：
对SOF进行光线跟踪，从给定的用户特定视点获得2D分割图。
采用GAN生成器，从纹理空间采样的样式代码对每个语义区域进行纹理化。
提出语义实例（SIW）纹理模块支持动态和区域样式控制。

文章图片
解耦表征能够显式控制姿势、形状和纹理样式。
从原图像开始，在第二列的图像中改变了人物的头部姿势、面部轮廓和纹理样式。
而第三列则是从不完整的segmap中生成交互式图像，用户能够逐部分添加到segmap ，并即时生成彩色图像。

文章图片
SIW-StyleGAN的特点之一就是语义级别的样式控制。
也就是能够根据指定的语义分割图进行区域样式调整，单独控制每个语义区域的样式。

文章图片
SofGAN还可以根据全局、背景、肤色、头发等语义区域生成不同的图像。

文章图片
SofGAN框架可以通过改变相机角度，从几何样本或真实图像中生成自由视点的人像图像。