不止女娲能捏小人！上海科技大学团队提出动态人像生成系统( 二 )

SOF使用多视图语义分割图进行训练，视图之间的几何投影约束在SOF中编码，这样就能够在改变视点时保持人像的形状和表情一致。

文章图片
此外，用户还能从无到有，用户逐一将各部分添加到segmap ，即时生成彩色图像。
比如用哈利波特演员DanielRadcliffe作为跟踪模板画一个人出来。

文章图片
当然，这些都只是生成了静态的图像。
SofGAN还能生成动态图像。

文章图片
看上去也是十分自然，非常逼真。
效果怎么样？
经过三天训练， 1500次迭代， SofGAN生成的图像与英伟达的Spade和PixPixHD以及SEAN等方法相比，从单个分割图中获得的图像更逼真。

文章图片
SofGAN能够生成逼真图像，因为它有以下三个特点：
1.对单个属性进行显示控制，其余属性保持不变。
因此SofGAN可以支持相应的渲染效果，比如自由视点渲染、全局和区域样式调整、面部变形、表情编辑等。

文章图片
2.训练未配对的数据。
与之前需要使用配对/对其RGB和分割图像进行训练的方法不同， SIW模块可以使用未配对的真实世界图像和合成语义分割图直接进行训练。
3.按需和交互式生成。
SofGAN生成器的定制架构能够从不准确甚至不完整的分割图中合成逼真的人像。因此，用户能够从一个界面像Photoshop的工具，为交互式肖像设计手绘语义轮廓。

文章图片
【不止女娲能捏小人！上海科技大学团队提出动态人像生成系统】而综合实验表明，在CelebA和FFHQ数据集上， SofGAN图像生成器都达到了SOTAFID和LPISP分数，可用于广泛的综合任务。
参考资料：
https://arxiv.org/pdf/2007.03780.pdf