世界上有一只叫Alice的鲸鱼，发声频率为52赫兹，因而无法与叫声频率在15-25赫兹的同类普通鲸鱼正常交流。但在长年的追踪中，研究人员发现，它并非是“最孤独的存在”，它只是拥有自己的语言。

对天津理工大学鲸言创益团队里的聋人学生们来说，手语就是一种和“52赫兹”相似的独特语言，他们希望这个语言能被其他人所理解。

教AI学手语

“我们现在做的双向翻译是语音识别加上手语识别，左边那个部分是语音识别，可以将健听人说的话以文字形式翻译给聋人。当听障人士要跟我们普通人交流的时候，右边的窗口显示的就是手语翻译出来的文字。”天津理工大学聋人工学院教授袁甜甜为记者演示智能手语翻译机器人。

天津理工大学聋人工学院是天津市政府和中国残联合作创办、我国第一所面向全国招收聋人的高等工科特殊教育学院，培养了一批计算机科学与技术专业、网络工程专业等专业的聋人本科学生。由于学院学生均有不同程度的听力残疾，手语是他们主要交流语言。2016年，学生们萌生了将手语和他们所学的计算机专业知识相结合的想法，要教AI学手语，让机器成为随叫随到、及时准确的“手语翻译”。这个想法吸引了来自聋人工学院的计算机科学与工程学院的师生，他们组成了鲸言创益无障碍智能科技研发团队。团队现有45人，包含博士、硕士和本科三个阶段的学生，其中60%是聋生。

朱宇就是天津理工大学聋人工学院一名研二学生。他逆着阳光站在饮水机旁，在智能手语翻译机器人前挥舞双手，依次打出“你”、“名字”、“什么”的手势，并做出疑惑的表情。在他面前的屏幕上立刻翻译道：“你叫什么名字？”并发出了语音播报。站在朱宇身边的刘敬泽是手语翻译系统开发者兼翻译员，负责用系统的语音翻译模块做出“测试成功”的回复。

朱宇（左一）正在面向智能手语翻译机器人打手语。鲸言智能团队 供图

“为14亿人服务”

由于手语普及率低，失语者只靠手语无法与大多数健听人交流。而要学习自然手语并不容易，因为这是一种聋人在交流中产生的、复杂的、基于视觉信息的语言，与有声语言存在较大差异。袁甜甜已经在聋人工学院计算机系工作近16年，自从走上教职岗位，她便自学了手语，但是“学生描述的情况一复杂，或者打手语的速度太快，我就只能看懂一部分了” 。

对聋人来说，用书写的方式表达，也不是件容易事。手语没有文字，他们必须付出更多的努力来理解有声世界的语言。当他们学会汉字后，受手语表达规律影响，他们写出的句子容易出现语序错误，语气也会相对生硬。因此，即使部分聋人虽然能通过读唇语、语音转写等方式理解健听人，但如何让健听人读懂他们仍然是摆在现实面前的一道难题。

鲸言智能手语翻译系统能够在完成手语识别后，通过自然语言处理技术，将聋人打出的手语词汇调换顺序，转换成通顺的汉语句子，并以文字或语音的方式展现。在深度学习服务器上进行本地运算，翻译响应速度可以达到毫秒级，实现实时手语翻译。未来通过与中国联通的合作，使用5G技术，将终端与计算中心相连，传递视频信息与翻译结果，降低GPU成本，越来越多的翻译终端将会出现在更多有需求的地方。据袁甜甜介绍，中国农业银行、天津120急救中心、vivo等单位表达出合作意向，越来越多的企业对智能手语翻译产生关注和兴趣，需求也越来越旺盛。

9月8日，以“推广普通话，喜迎二十大”为主题的第25届全国推广普通话宣传周在云南省怒江傈僳族自治州泸水市开幕。袁甜甜老师带队参加了本次推普“智能+”展示活动，以“复杂场景下中国手语实时翻译系统”对国家通用手语的识别和翻译为主要推广展示内容，得到了教育部副部长田学军、云南省副省长张治礼及教育部语用司司长周为等领导同志的一致好评，并在系统实施、推广等方面提出了殷切希望。

“之前有的人说系统就服务聋人群体，我说难道这个系统就是为了服务聋人的吗？我们是为了服务 14 亿中国人。”袁甜甜说，“这个系统是工具，让健听人去理解聋人。”

智能技术让爱跨越语言的屏障

复杂的应用场景、手语与汉语迥异的表达逻辑、表情加手势加肢体动作幅度的“多信道”表达……这些问题都曾是阻碍了手语智能识别翻译的难题，但对鲸言创益团队来说，并不是无法跨越的鸿沟。这是因为自2018年起，团队坚持采集、标记了30万条自然手语视频语料，为人工智能整理出一套可供学习的资料。

此前，国内外只有小型手势汉语语料库，仅提供手势与汉语词汇的对应关系。但只有广泛学习和比对不同的手语使用者的造句方法和语境，才能准确读懂并翻译聋人的表达。因此手语数据收集、标注是一项成本高、内容琐碎、工作量极大的事情。

鲸言团队还利用鲸言创益App向全社会征集手语语料，目前已有二三百采集者。“很多（机构）做数据集，就是尽量减少识别难度。他们提供的背景非常干净，大白墙或者是绿幕，只能让计算机学会识别实验室环境里的手语。”袁甜甜介绍，“而我们只对衣服颜色和背景、手的起止位置做简单要求，基本是在自然状态下完成采集。”让计算机学会在纷杂的背景环境里准确识别手语，这不容易，鲸言团队正不断做出技术攻克。他们也向研究机构和企业共享这些数据，“大家可能都是一个想法，希望AI能通过复杂语料的训练，在实际交流场景中完成翻译工作。”

鲸言手语翻译的发展，似乎并非源自于计算机智能技术的惊天突破，而是依靠团队长期的数据累积和不断攻克难关的决心，才能挣脱于以往手语语料库极其匮乏的困境。

鲸言手语翻译实现了国家通用语言文字与手语这两种不同语言的实时互译，在天津理工大学计算机学院研二学生孙悦看来，就是在“架桥”，让“生活在两个世界、各自走着互不相干的路”的健听人与聋人“相遇并彼此温暖”。

他们用AI跨过了语言的屏障，让爱成为我们共同的语言。