手语播报数字|手语播报数字人上岗 “无声世界”共享冰雪热情

阅读提示
突破了手语生成技术难题，为听障群体了解冬奥资讯带来便利，同时有效解决了专业场景中手语服务资源相对匮乏的问题，促进了社会无障碍设施建设。
身穿白衬衫、红西装的“年轻女性” ，将主播的口语播报内容，实时翻译成手语，传达给听障群体……近日，北京广播电视台《北京您早》节目“上线”了手语播报数字人，与真人主播同步播报冬奥资讯。
相关数据显示，我国听力残疾人约2780万人，占全国残疾人的30%以上。手语播报数字人的出现，让“无声世界”里开始充满了温暖的冬奥声音。
采访人员了解到，北京冬残奥会开幕在即，各项服务转换工作接近尾声。如何帮助盲聋残疾人顺利“收看”残奥会比赛的配套工作也在有条不紊地进行。
此外，针对北京2022年冬奥会和冬残奥会研发的手语播报数字人，未来有望被推广至更多应用场景。
让听障人士感受冬奥魅力
杜银玲是一位聋人，同时也是一位手语教师、网络博主。
“以前，我们观看体育比赛时，需要同时打开电视和手机，一边看比赛画面，一边看手机中的文字解说。 ”她告诉采访人员，这样虽然也能获取到比赛信息，但过程较为复杂，体育赛事的观赏性也大打折扣。
从AI合成主播到虚拟美妆博主，语音播报数字人在传媒、医疗、教育等领域越来越常见，但手语播报数字人却不常见。尤其在体育新闻专业领域，听障群体往往无法直接通过手语播报获取信息。
冬奥会期间正式上岗的手语播报数字人，由北京智谱华章科技有限公司、凌云光技术股份有限公司、清华大学计算机系贾珈教授团队、中科院计算所陈益强研究团队联合打造。
研发团队在前期调研中了解到，人工手语翻译工作量大，电视节目主持人和手语主持人配合难度高，且手语翻译专业人员稀缺。因此，团队希望通过AI技术将口语播报内容翻译合成为手语，并通过手语播报数字人进行播报。
“这套手语播报系统在表意的准确性和表达的可懂度方面具有突出优势。 ”研发人员告诉采访人员，由于不需要过多人工干预，这套系统还能节省大量人力，在手语播报时更快、更精准地传达相应信息。
“智能手语播报拓展了我们观看比赛、理解比赛的渠道，让我们更深入地沉浸在比赛的氛围里。 ”杜银玲说。
数字人如何学习手语
为了让学员准确快速地进行手语翻译，杜银玲在日常教学中，会让学员反复训练，提高手语运用的熟练度。同样，手语播报数字人在学习手语的过程中，也经历了一番“系统而刻苦”的训练。
手语播报数字人生成技术涉及多个领域，包括计算机视觉、自然语言处理、跨媒体计算、人机交互等。
在语料库建设阶段，手语播报数字人系统完成了《国家通用手语词典》8214条通用手语，以及2000多条冬奥赛事相关词汇手语的采集和录制。为确保手语播报的准确性和专业度，研发团队还收录了10万多条常用语句。
研发人员指着屏幕告诉采访人员，在庞大的数据源基础上，团队通过自主搭建的多模态肢体动作、表情、手势同步采集系统，完成多模态动作捕捉数据采集，进而再通过建立高精度语义蒸馏模型、跨模态拟人生成算法等，实现对文本内容的手语播报。
“手语不同于自然语言表达，常规语速下正常人每分钟能说出200多字，而在语音转化到文字的过程中，需要提取核心语义。为此，团队研发了高精度语义蒸馏模型，目的是从不同的文本中提取出有效的核心语义内容。 ”北京智谱华章科技有限公司首席技术官张鹏说。