高大「手语之声」系统问世！助瘖哑人士无碍沟通

国立高雄大学资讯工程学系教授余亚儒（前中）率领学生，结合光流、深度学习，以及大语言模型，开发即时手语辨识系统「手语之声」。（高雄大学提供／林瑞益高雄传真）

国立高雄大学资讯工程学系研发出即时手语辨识系统「手语之声」，图为学生示范操作方式。（高雄大学提供／林瑞益高雄传真）

国立高雄大学资讯工程学系教授余亚儒率领学生，结合光流、深度学习，以及大语言模型，研发即时手语辨识系统「手语之声」，造福瘖哑人士，解决日常与听人之间的沟通问题。

余亚儒表示，根据政府资料，台湾约有18万9000名瘖哑人士，其中，台湾手语使用者2至3万人，但全台仅有591名具备证照的专业手语翻译员。加上多数民众不谙手语，使得瘖哑人士在购物、银行、医院等生活场景沟通不便，无法得到妥善的回应。

「手语之声」系统运用了光流技术、深度学习和资料生成技术，仅需普通摄影镜头即可捕捉使用者手部动作及脸部表情并即时分析，能够准确快速地转换为文字或语音，准确率可达93％。

即时手语辨识系统可以应用于教育、医疗、公共服务等多个领域。例如协助学校教师与听障学生的学习；帮助医护人员与听障患者沟通病情等。

团队成员江东庭说，团队突破手语资料稀缺的瓶颈，透过少量资料进行生成和扩充，使得系统能正确识别词汇并将其组成完整句子。该技术的核心在于用影像取代传统的感测器方案，降低成本同时提升便利性。

余亚儒补充说明，系统目前能辨识单词并串接成句，未来若能克服判断句子断点等挑战，以及扩充至穿戴装置或手机应用程式，应用场景将更为广泛。

「手语之声」系统入选国科会大专学生研究计划，以及高雄大学校内「激发学生创意竞赛——创业实作组」第一名。