上一版
缩小
全文复制
上一篇
拿起手机，点击机器人图标，说出你想对聋哑朋友说的话，只需几秒钟，一张张手语图便跳了出来，实现普通人与听障者的零距离沟通。这原本只是一个简单的概念设想，一群平均年龄只有22岁的大学生做到了，让不懂手语的人也能和听障群体进行交流。
5月14日，江苏科技大学计算机系的5名志愿者来到镇江市特教中心，在没有手语老师的翻译下，通过一个手机APP——聋人自然手语翻译器，与高一年级10位聋哑学生交流互动。
去年10月，TouchVoice创新团队宣告开发一款助听障群体沟通的软件，目前该团队已扩容至9人。理工科背景加上对自然语言处理的核心优势，几人一拍即合，决定潜心研究一个惠及聋哑群体的手机软件。把语音转换成文字，再将文字翻译成手语，为普通人与聋哑群体搭建沟通的桥梁。
设想勾画完成，“三大库”的建立至关重要。 “目前来看，我们已经完成最基础的构想——手语图片库，并且取得了良好的用户体验，和同学们交流了40多分钟，每句语音都被准确翻译成了手语图，他们都能看懂。”吴琪说。
吴琪是江苏科技大学三年级学生，曾在社区做过志愿者，帮扶青少年群体。在团队中主要负责“3D骨骼动画”研发。
然而，将手语图片全部录入系统并不容易，几经周折，团队将“我爱手语网”列为最佳选择对象，在教师编写的“爬虫”软件支持下，5234张图片全部被收入囊中。
为了这款APP能带给用户最佳体验，加班、熬夜、通宵成了家常便饭。团队放弃了今年的“史上最长寒假”，回家过了几天春节，便匆匆赶往学校，继续开发、研制。分工明确助力团队一路向前，3D人体骨骼动画研究、安卓端的开发、算法研究、以及自然语言分析缺一不可。本科生与研究生共同协作，发挥各自的专业特长。
另外的两大库分别是手语动画库和手语视频库。为了呈现出动态手语，而不是简单的几张图片，并将手语与文字翻译互通，用动画和视频进行呈现。团队购置了Leap Motion设备拍摄手语动画，配备了带有RealSense3D摄像头的笔记本。陈璟告诉记者，团队构思了各种手语识别算法，考虑平行关节、手指点、深度图等问题，最终由于手指关节数据的误差较大，还是陷入了瓶颈。
幸运的是，“聋人自然手语翻译器”得到了学校和镇江市残联的大力支持，并前往绍兴市拜访手语协会的王丽娅老师。“王丽娅老师给团队普及了很多专业知识，愿意助我们一臂之力，并希望借助与我们的合作，推广自然手语的教学。双向翻译指日可待。”陈璟告诉记者。
实习生 李想 本报记者 李玥
