即时新闻

“AI靓女”如何为听障人士播报赛事

探秘“冬奥手语播报数字人”的背后科技力量

来源:羊城晚报     2022年02月10日        版次:A10    栏目:多彩冬奥    作者:王莉、柴智、付怡、郝浩宇

     冬奥手语播报数字人画面 受访者供图

  

  羊城晚报特派记者 王莉 柴智 付怡 郝浩宇

  

  虚拟现实和人工智能技术的发展和应用日新月异,如今已成为全球关注的焦点。随着北京冬奥会正式开幕,有一项基于这两项技术的新服务正式亮相,即采用我国首个超大规模智能信息模型和虚拟数字人技术,为听障人士打造的“冬奥手语播报数字人”,助力科技冬奥。日前,羊城晚报记者来到“冬奥手语播报数字人”的研发企业之一智谱AI,探秘这位“AI靓女”背后的科技力量。

  据了解,“冬奥手语播报数字人”由北京市科委、中关村管委会支持,智谱AI、凌云光和北京广播电视台联合打造,清华大学贾珈教授团队和中科院计算所陈益强研究员团队也积极参与了相关关键技术的研究和开发,还得到了北京市残疾人联合会和市残联聋人协会的帮助和支持。

  冬奥会期间,“冬奥手语播报数字人”每日会在北京卫视《北京您早》节目中对“冬奥赛事集锦”和“一起看冬奥”进行手语播报,便捷听障人士收看赛事专题报道,提升他们的社会参与度和幸福感。

  据相关负责人介绍,为了推广和普及国家通用手语,“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制,并且语法都以听障群体习惯打法为准,以确保手语播报成果的准确性和专业度,更好地服务听障人群。

  由于当前国内缺少较完善的手语语料数据,研发人员邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导,并进行大范围听障群体评测,最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库,词汇及语句总规模超10万。

  为实现高精度、高自然度的人物形象和手语动作姿态,研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据,运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染,实现对文本内容的手语播报。其中,通过肌肉绑定技术驱动实现面部采集,结合业内领先的语音识别及高清视频合成等技术,呈现给听障人群亲切自然的冬奥手语播报服务。

  智谱AI的首席技术官张鹏表示,“冬奥手语播报数字人”的应用不仅使听障人士能快捷获取冬奥赛事资讯,还将无障碍环境的理念传递到数亿人群中。与此同时,推动国家通用手语的推广落地及标准普及,为残疾人平等参与社会生活创造无障碍环境,让科技更有温度,实现科技和人文的完美结合。