生成|深度伪造(Deepfake)原理分析及实战( 四 )

文章插图
对应论文中的公式(6)

文章插图
2）计算稀疏轨迹的函数

文章插图
对应论文中的公式(4)

文章插图
3）计算最终得到的密集运动预测

文章插图
对应论文中的公式(7)

文章插图
生成测试注：由于可能涉及侵犯隐私，这里源图像选用安全客的小安动漫形象以及小熊猫，驱动视频选用github上开源出的小李子和川普的动态视频，同时由于官网投稿时无法上传mp4，故转换成gif。
小安图像如下

文章插图
小李子视频如下：

文章插图
生成效果如下：

文章插图
小熊猫图像如下：

文章插图
川普视频如下：

文章插图
生成效果如下：

文章插图
检测随着Deepfake技术的发展，互联网上充斥着大量包含伪造人脸的虚假视频，Deepfakes类技术的滥用带来巨大的负面影响，本文给出一些典型检测思路及方案。
基于传统图像取证传统的图像取证初始主要是基于传统的信号处理方法，大多数依赖于特定篡改的证据，利用图像的频域特征和统计特征进行区分，如局部噪音分析、图像质量评估、设备指纹、光照等，解决复制-移动、拼接、移除这些图像篡改问题。而Deepfake视频本质也是一系列伪造合成的图片合成，因此可以将此类方法应用到Deepfake检测。
基于生理信号特征伪造视频往往忽略人的真实生理特征，无法做到在整体上与真人一致。比如，有研究人员发现Deepfakes创造的是分离的合成脸区域，这样在计算3D 头部姿态评估的时候，就会引入错误。因为Deepfakes是交换中心脸区域的脸，脸外围关键点的位置仍保持不变，中心和外围位置的关键点坐标不匹配会导致3D 头部姿态评估的不一致，故用中心区域的关键点计算一个头方向向量，整个脸计算的头方向向量，衡量这两个向量之间的差异. 针对视频计算所有帧的头部姿态差异，最后训练一个支持向量机（SVM）分类器来学习这种差异，由此便可以检测出虚假视频。
基于图像篡改深度伪造图像受限于早期深度网络的生成技术，在生成的人脸在细节上存在很多不足。比如有研究人员利用真假脸的不一致性来区分，如(1) 全局不一致性：新的人脸的生成，图像的数据点插值是随机的，并不是很有意义，这会导致的全局眼睛的左右颜色不一致，鼻子的左右色彩等；(2) 光照不一致性：篡改区域和正常区域对光照的反射不一样，如眼睛区域，Deepfakes生成的视频大多丢失这个眼睛反射细节；（3）几何位置不一致：细节位置缺失，如牙齿，只有一些白色斑点，这个细节没有建模。通过对这些特定区域（牙齿、眼睛等）提取的特征向量训练多层感知机进行分类。
此外，kaggle上也有检测Deepfake的竞赛
（https://www.kaggle.com/c/deepfake-detection-challenge/），感兴趣的师傅们可以去看看
写在最后分享出这篇文章，会不会有人在本文的启发下做出恶意行为呢？事实上，不论是否由本文来介绍，该技术事实上就是存在的，写出来后，反而能唤醒更多人在虚假视频这方面的安全意识，而其中的一部分人又会致力于研究相关的反制措施，分享出本文，利远大于弊；其次，该方案伪造出的视频并不逼真，肉眼就可以观察出来，之所以分享DeepFake系列技术中的这个方案，也是基于安全考虑，重点在于告诉大家这类攻击是可行的，不需了解高深数学原理、人工智能理论，轻易就可以实现。换句话说，介绍该技术的目的更多是相当于一个poc，而不是exp，仅做概念证明使用，距离实用还有差距，但是却可以引起安全人员的关注，促进该领域的防御研究。