中青报客户端

 中青在线版权与免责声明

中国青年报手机版

中国青年报手机版二维码

中国青年报官方微信

中国青年报官方微信

2023年11月02日 星期四
中青在线

一台手语翻译机背后的温情

中青报·中青网记者 李雅娟  来源:中国青年报  ( 2023年11月02日   T3 版)

    在第十八届“挑战杯”的科技成果展厅里,在编号为126号的展位前,选手孙悦面向人形机器人,娴熟地打着手语。

    这个人形机器人和外接显示器占了展位的一大块空间。跟一般的服务机器人不同,它能读懂手语。

    随着孙悦的手势,外接显示器上“翻译”出她的“话”:“天津理工大学欢迎您!”“你叫什么名字?”“掌上银行登录密码忘了怎么办?”“每天早上我们一起去跑步”……

    20世纪末,天津理工大学成立了聋人工学院,这是国内第一个面向听障人士招生的本科学院,如今有4个专业,每个年级100多名学生。听障人士可以在这里学习服装与服饰设计、网络工程等。

    上大学以前,听障学生孙悦在普通学校上学,语言表达能力和沟通能力在听障人士中属于佼佼者。来到聋人工学院后,同学去医院看病、去银行办业务,经常拉着班长孙悦,由她来充当翻译。孙悦知道,同学们害怕与外界交流。

    这种恐惧同样潜伏在孙悦的心底。“我上高中的时候,非常害怕和别人交流,因为可能听不到也可能听不清,或者他们答复的时候我又听不懂。”

    大三那年,孙悦冒出一个想法:能不能研发一个工具,让听障人士去任何一个办事大厅都没有交流障碍。

    孙悦和同学做了大量调研,了解听障人群对手语翻译产品的需求,“我发现在国内这样的产品市场几乎都是空白的。”

    当时有款“手语手套”,孙悦使用后发现,它需要连接电线,而且对皮肤有刺激,既不方便,也不舒适。更重要的是,“戴上(手语手套)后打手语,大家就会觉得被歧视了”。

    本科毕业后,这名网络工程专业的毕业生被保送到计算机学院读研,并加入学校老师薛万利的团队。她要从头学习很多新知识,再把这些知识应用到手语识别系统的开发。

    刚到实验室时,薛万利对孙悦的印象是:害羞。“不大说话,不跟大家出去吃饭,一做报告就特别紧张。”

    薛万利在校园里经常遇到听障学生,但从没手把手带过,孙悦是他带的第一个听障学生。

    初次带听障学生,薛万利也有些不适应。“开组会的时候,有时候会push(催促)一下学生,比如问问研究怎么没有进展、是不是没看论文?她会很激动,情绪全挂在脸上,都能听到沉重的呼吸声。”

    在展位旁,记者小心地询问薛万利的意见,是否可以采访孙悦。薛万利大笑:“您就把她当成普通人。”

    两三年过去,薛万利见证了手语翻译项目的成熟,也看到孙悦的变化:“现在可开朗了。”

    孙悦戴着人工耳蜗,沟通表达能力与常人几乎无异。她专注地听记者发问,并对着机器人的摄像头打手语。

    这台机器人背后,是大量艰辛的工作。

    做手语分词系统,需要收集数据、标注数据,这是最初的一关也是最难的一关。中国科学技术大学的手语数据集里有两万多条手语视频,这是主要的语料来源。

    普通的数据标注,只需要在照片上圈出各种各样的图像,告诉机器这是什么,比如汽车、动物、房屋等。手语视频标注的门槛则高得多,大部分人不懂手语,也就无法胜任标注工作。即便懂手语,标注一条一两分钟的手语视频也要花20分钟。孙悦解释说:“手语视频和句子要找出对应关系是非常困难的,因为手语的语法顺序和汉语的语法顺序不一样。”

    手语专家、聋人工学院的学生加入进来,中国聋人协会也提供了大量帮助。志愿者们“翻译”出每条视频,“喂”给机器。100多名志愿者花了4个多月,标注完这两万条视频。

    除此之外,聋人工学院的志愿者还“生产”语料。他们自己录制手语视频,再标注出含义,又“生产”了3000多条手语视频。

    薛万利告诉记者,这台翻译机器人目前已经用在天津理工大学的学生服务大厅、学校附近的银行网点。在这些场景下,常用的对话只有几百句,手语识别准确率比较高。

    但这支团队的成果不止于此:目前有几个听障同学因为这个项目各自有所收获,有的找到一份不错的工作,性格比以前开朗很多,也有人收获了爱情。

    明年夏天,孙悦将硕士毕业。“用她自己的话说,现在可以很勇敢、很自信地进入社会。这也是我们觉得做这个项目最自豪的一件事,倒不是说发了多少篇论文、拿了多少项目,她的这种改变,让我们从老师到学生都觉得这件事很有意义。”薛万利说。

    在第十八届“挑战杯”大赛决赛现场,孙悦代表团队登台介绍参赛项目。

    “毕竟‘挑战杯’是大学生科技竞赛最高的舞台之一,我们希望她能够站在上面,勇敢地表达自己。哪怕讲得不太好,没有关系。拿不到奖也无所谓,站在上面去表达自己就可以了。”薛万利说。

    10月30日晚上,比赛结果公布,这支团队获得一等奖。答辩时,评委甚至没问太多技术方面的问题,而是更关注聋健融合时遇到过哪些困难、如何克服。薛万利期待,未来有更多人参与进来,促进残障人士主动融入社会。

中青报·中青网记者 李雅娟 来源:中国青年报

2023年11月02日 T3 版

英雄不问出处
学子做“媒”:莓茶出山 头雁亮相
一台手语翻译机背后的温情
借“挑战杯”东风 助力学校科创工作再上新台阶
图片新闻
图片新闻