大疆Mavic3无人机曝光｜CR929宽体客机已开工制造( 二 )

谷歌最新视频抠图术：
【大疆Mavic3无人机曝光｜CR929宽体客机已开工制造】影子烟雾都能抠，还开源
谷歌最新的视频分层技术——omnimatte ，已入选CVPR2021Oral 。 Omnimatte针对任意移动的对象和主体，都能将所有元素抠出来。具体实现方法如下：

文章图片
输入一段有移动物体的视频，以及一个或者多个标记主体的粗略分割蒙版。首先，使用现成的分割网络比如MaskRCNN ，来将这些主体分成多个遮罩层和背景噪声图层，并按照某种规则进行排序。比如，在一个骑手、一辆自行车以及几个路人的场景中，就会把骑手和自行车归入一个层，把人群归入第二层。
omnimatte模型是一个二维UNet ，逐帧处理视频。每一帧都用现成的技术来计算物体掩码，来标记运动中的主体，并寻找和关联蒙版中未捕捉到的效果，比如阴影、反射或者烟雾，重建输入帧。为了保证其他静止的背景元素不被捕获，研究人员引入了稀疏损失。
此外，还计算了视频中每一帧和连续帧之间的密集光流场，为网络提供与该层对象相关的流信息。最终生成Alpha图像（不透明度图）和RGBA彩色图像，尤其RGBA图像，简直可以说是视频/图像剪辑法宝！
目前这一技术已经开源，配置环境如下：Linux；Python3.6+；英伟达GPU+CUDACuDNN 。
小米平板5
『热门推荐』