播报|硬核科技为冬奥观赛体验创下多个第一( 二 )

文章插图

“冬奥手语播报数字人”在电视节目投入应用。“智能大脑”以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。
通俗点比喻，新闻主持人一分钟可读200字，但是手语传达不了这么多，这个时候，数字播报人像做“阅读理解”，将200个字提炼成50个词汇或者短语，再将50个词用听障人士熟悉可懂的语法、语序打出来，传递关键要义。
与传统的AI模型相比，中科院计算所所务委员陈益强表示，研发团队自主搭建了多模态肢体动作、表情、手指同步采集系统，实现了高自然度手语动作姿态生成，“数字播报人在拟人化方面更胜一筹，表情更丰富，口型更清晰。”
陈益强介绍，该采集系统通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。
【播报|硬核科技为冬奥观赛体验创下多个第一】来源：中国青年报客户端