手机上用AI实时、流畅解码视频：高通研发出首个神经视频解码器( 二 )

但是，日益增长的视频消费需求对未来的视频编解码器提出了更高的要求，应该具备以下功能：
比特率和感知质量指标的直接优化简化的编解码器开发内在的大规模并行性高效执行和更新已部署硬件的能力可下载的编解码器更新随着深度神经网络（DNN）技术的显著进步及其在计算机视觉和通信系统领域的广泛应用，基于神经网络的视频编解码器有可能提供所有上述期望的功能。具体来说，这类视频编解码器不仅可以在为其他AI应用开发的AI硬件加速器上运行，还能实现更高效的熵编码并行化。
在这种潜力的驱动下，过去几年神经网络视频编解码器成为了研究热门，如2017年谷歌提出的Hyperprior自编码器、18年上海交通大学等机构提出的端到端深度视频压缩（DeepVideoCompression）框架以及2020年谷歌研究院感知团队提出的用于端到端优化视频压缩的扩展空间流（Scale-SpaceFlow）。这类神经视频编解码器展现出了令人瞩目的压缩性能，并缩小了与传统编解码器之间的差距。

文章图片
基于AI的压缩具有绝对优势。
但还应看到，将AI研究从实验室带到实际应用场景往往并不容易。这也意味着，神经视频编解码器的实际部署面临着很大的挑战。大多数相关研究利用具有浮点计算的壁式驱动的高端GPU ，并且神经网络模型架构往往没有针对快速推理进行优化。因此，对于具有固定计算、功率和温度约束的移动设备而言，在这类神经网络解码器模型上运行实时推理不切实际或不可行。
在骁龙888SoC的商用智能手机上，高通AI研究院在基于软硬件结合的神经网络视频解码器方面实现了新的突破。
利用骁龙888的CPU和AI引擎，实现30+fps的高清视频解码
凭借在节能AI方面的专业知识以及骁龙888平台的强大AI算力，高通在商用智能手机上实现了实时帧内神经视频编码。高效率视频编码（HEVC）中的帧内编码可以视为高端视频编码（AVC）的扩展，它们利用空间上的取样预测来编码。帧内编码过程与帧间编码共用部分的处理步骤包含转换、量化、熵编码等。为此，高通AI研究院在以下几个方面进行了优化：
重新设计网络架构以降低复杂度；
在AI推理引擎上量化和加速神经网络；
利用并行熵编码。
基于以上几个方面的优化，高通利用骁龙888移动平台上的CPU和AI引擎，开发出了一种基于软硬件结合的神经视频解码器，以超过30fps的速度解码了分辨率1280×704的高清视频，并且无需视频解码单元的任何帮助。骁龙888集成第六代高通AI引擎，作为一整套处理器协作系统，这代AI引擎包含了重新设计的Hexagon780处理器，将AI全方位赋能极速通信、专业影像、游戏体验等诸多方面。

文章图片
具有高效解码性能的8比特模型
解码器架构优化、并行熵解码（PEC）和AIMET量化感知训练是高通AI研究院实现智能手机端高效神经编码的三个重要步骤。

文章图片
第一步，基于一个SOTA帧对压缩网络，通过剪枝通道和优化网络操作实现了解码器架构优化，依靠骁龙888内置的AI引擎进行加速，降低了计算复杂度。
第二步，创建一种快速并行化熵解码（fastparallelentropydecoding）算法。该算法可以利用数据级和线程级并行化，从而可以实现更高的熵编码吞吐量。在高通的方案中，骁龙888的CPU用来处理并行熵解码。