行业
热点
栏目
产品
体育直播节目手语CG的自动生成
云栖网：理想情况下，公共服务媒体应该为所有的节目提供手语翻译，使那些有听力障碍的观众也能够享受节目的方方面面。但是，为所有节目提供足够的手语翻译是不切实际的。这一情况促使NHK STRL(日本NHK放送技术研究所)研发了一种自动生成的手语计算机图形(CG)动画的系统。特别需要指出的是，在直播节目中提供手语CG动画是一项具有挑战性的任务。
NHK STRL目前正在开发一项技术，通过赛事承办方或其他机构实时提供的比赛数据，让听力受损的观众可以更容易地观看带有手语的体育直播节目。
一、技术特点
该系统在接收到体育比赛数据后，将提取例如选手姓名、比赛时间、得分和处罚等数据，并插入到准备好的手语句子模板[1]中。然后，使用填充好的句子模板和预先录制的手语动作捕捉数据生成手语动画(图1)。这些步骤是实时完成的，能够同步传达比赛的状态和进度。手语动画与广播电视视频相结合，通过互联网发送到电脑Web浏览器或平板电脑应用程序上(图2)。视频、手语动画及相关比赛数据将显示在同一个屏幕上，使观众能够更清楚地查看相关信息。
NHKSTRL在冰球和冰壶比赛中对该系统进行了测试，并证实了自动手语CG能够使本地手语使用者更清楚地了解比赛进度。NHKSTRL将继续对系统进行改进，使手语CG更易于理解。
图1体育节目中手语CG动画的生成过程
图2电脑浏览器和平板电脑应用程序上的手语演示
二、展望未来
NHKSTRL正在努力提高CG人物的质量和表达能力，以提供更加自然、更加“人性化”的手语展现。在手语中，除了手指以外的其他动作(例如眼睛、眉毛和嘴部周围的轻微动作)也在表达中起着非常重要的作用。通过合成轻微动作和皮肤纹理，NHK STRL得到了改进后的手语CG人物(图3)。虽然目前无法实现实时渲染，但NHK STRL希望能够在未来的直播节目中提供这种高品质的手语CG。
图3改进后的手语CG人物
注：
手语句子模板，包含数字域和专有名词等变量的手语模板，可以用提供的比赛数据填充。
