作者 | 吴彤编辑 | 青暮比起卡粉|发际线有救了!这款app可一键AI生发,拯救你的自拍焦虑( 三 )


此外 , 通过插值获得的配对数据也能够生成新的配对数据 , 基于此可以满足对理想的发际线调整配对数据的需求 。
作者 | 吴彤编辑 | 青暮比起卡粉|发际线有救了!这款app可一键AI生发,拯救你的自拍焦虑
文章图片
3.image-to-image生成
基于StyleGan的迭代重建获得配对数据后 , 就可以通过pixel2piexlHD模型进行有监督的学习训练 , 这种image-to-image的方式相对稳定且针对各类环境都有稳定的结果输出 。 但生成图像的清晰度还无法达到理想的效果 , 因此选择通过在image-to-image模型上采用StyleGAN的预训练模型来帮助实现生成细节的提升 。
传统的StyleGAN实现image-to-image的方式是通过encoder网络获得输入图的图像隐向量 , 然后直接编辑隐向量 , 最后实现目标属性图像生成 , 但由这种方式生成的图像与原图像比对往往相似度较低 , 无法满足基于原图像进行编辑的要求 。
因此MTLab对这种隐向量编辑的方式进行了改进 , 一方面直接将原图像encode到目标属性的隐向量 , 省去进行中间隐向量编辑的步骤;另一方面将encoder网络的特征与StyleGAN网络的特征进行融合 , 最终通过融合后的特征生成目标属性图像 , 以最大限度保证生成图像与原图像的相似度 , 整体网络结构与GLEAN模型非常相似 。 该方式兼顾了图像高清细节生成与原图相似度还原两个主要问题 , 由此也完成了高清且具有真实细节纹理的头发生成全流程 。
作者 | 吴彤编辑 | 青暮比起卡粉|发际线有救了!这款app可一键AI生发,拯救你的自拍焦虑
文章图片
头发生成网络结构
4
搞定了头发 , 还可以举一反三
这种StyleGAN编辑生成方案也具有很高的扩展性 。 日后图像编辑和图像清晰度的难题 , 可以套用头发生成的“三步走”技术 。
其中 , 结合StyleGAN生成理想头发配对数据的方式极大地降低了图像编辑任务的难度 , 如将该方案关注的属性拓展到头发以外 , 就能够获得更多属性的配对数据 , 例如五官更换的配对数据 , 借此可以尝试对任何人脸属性编辑任务进行落地实践 。
作者 | 吴彤编辑 | 青暮比起卡粉|发际线有救了!这款app可一键AI生发,拯救你的自拍焦虑
文章图片
五官更换的配对数据:原图(左) , 参考图(中) , 结果图(右)
借助StyleGAN预训练模型实现image-to-image的方式能够保证生成图像的清晰度 , 还可以将其推广到如图像修复、图像去噪、图像超分辨率等等更为一般的生成任务中 。
作者 | 吴彤编辑 | 青暮比起卡粉|发际线有救了!这款app可一键AI生发,拯救你的自拍焦虑】来源:雷锋网