手机上用AI实时、流畅解码视频：高通研发出首个神经视频解码器

机器之心报道
机器之心编辑部
用神经网络给视频解码，效率居然还挺高的。
随着通信和互联网技术的进步，特别是智能手机的普及以及4G、5G移动通信技术的成熟与发展，视频聊天、视频游戏等多样化的视频娱乐方式层出不穷，普通用户对视频的消费需求也在不断增长。 2018年思科CISCO《视觉网络指数》报告预测，到2022年， 82%的互联网流量将由视频创造。
除了日常生活中的娱乐交流用途之外，视频也正在更多行业场景中大显身手。比如，以视频技术为核心的安防领域、智能工厂中对工人行为的视频监控与识别、辅助与自动驾驶中通过摄像头记录视频画面实时检测环境、以及近年来越来越多明星也下场参与的视频直播营销，等等。与此同时，随着AI领域计算机视觉（CV）技术的蓬勃发展， CV+视频的技术组合将会在越来越多的应用场景中发挥不可或缺的作用。

文章图片
然而，海量的视频数据对视频的传输、存储和其他处理带来了巨大的挑战。视频压缩、编解码等视频处理技术也就变得至关重要。在观看视频时，用户想要体验更高的画质和流畅度，这些都依托更高效的视频处理技术。多年来，计算机中视频解码的工作多由CPU来完成，这种方式易于使用但效率算不上很高。利用GPU解码视频是另一种选择。随着短视频等应用的兴起，在手机等移动端借助专用解码单元进行实时视频解码也成为了一种新的发展方向，对于视频直播等实时性视频服务具有重要意义。
与此同时，随着AI领域深度神经网络的发展，越来越多的企业探索如何使神经网络赋能自身产品。高通骁龙SoC中的AI引擎就充分融入了神经网络能力，其中的硬件组件Hexagon向量处理器支持8位定点加速神经网络运行，软件组件骁龙神经处理（SNP）SDK支持CNN、LSTM与自定义层。
旗舰SoC骁龙888集成的第六代高通AI引擎更是实现了26TOPS的AI算力，神经网络处理SDK带来一系列改进，增加了对RNN模型的支持，助力手机端侧AI性能提升至了全新水平。
那么，有没有可能将AI引擎蕴含的巨大算力更广泛、更深入地应用于视频领域呢？最近，高通就在这方面做了更多的尝试，利用骁龙888内置的AI引擎和CPU进行视频解码。结果发现：基于神经网络的神经视频解码效果还不错。
高通AI研究院的新工作，实现了业界首款在商用智能手机端实时运行、基于软硬件结合的神经视频解码器，在接近720pHD分辨率的视频上实现了30fps以上的实时解码。

文章图片
从软/硬解码到AI神经视频解码
作为一项重要的视频处理技术，视频编解码广泛应用于通信、计算机与广播电视领域，并催生了网络电视、广播电视、数字影院、远程教育和会议电视等一系列实际应用。
就主要作用而言，视频编解码技术是在可用的计算资源内，追求尽可能高的视频重建质量和尽可能高的压缩比，以达到带宽和存储容量的要求。视频编解码器则是一种能够对数字视频进行压缩或者解压缩的程序或者设备。
很长时间以来，基于CPU的软件编解码技术（也称软解码）一直主导着市场，如英特尔内置于其CPU中的视频编解码引擎以及开源软件FFmpeg中的libavcodec解码器，虽然易于使用，但会占用CPU资源，提升功耗，编解码效率不高，容易出现卡顿、花屏等异常，影响其他应用的正常运行。
因此，利用GPU或者专用处理器来对视频进行编解码（也称硬解码）成为另一种选择，如英伟达推出的基于GPU的硬件解码器模块NvCodec ，不仅可以实现良好的编码性能，而且使用显卡编码不会占用太多系统资源，也就不会影响应用的使用性能。