在地化的繁中AI語言模型TAME發表 精準解釋買東西「很盤」

「繁体中文专家模型开源专案TAiwan Mixture of Experts」(Project TAME)是由多家企业联合发起,与台大资工系副教授陈缊侬合作,NVIDIA提供技术支持,今日举行成果发表。记者李芯/摄影

多家企业今日共同发表繁体中文AI大型语言模型「Project TAME」,该模型借由企业所提供电子业、石化业、医疗、法律等各专业领域资料,进行5000亿字的预训练,发展出在地化特色,可以精准解释「很盘」等繁中语境下的特定用法,甚至在国考、升高中大学的题目上,能拿到的分数也远高于GPT-4o、Gemini等其他语言模型。

今日举行成果发表的「繁体中文专家模型开源专案TAiwan Mixture of Experts」(Project TAME)是由多家企业联合发起,与台大资工系副教授陈缊侬合作,NVIDIA提供技术支持,总共预训练5000亿个字。Project TAME是基于Llama 3 8B、70B的版本,训练框架为NVIDIA NeMo Megatron,推论框架为NVIDIA TensorRT-LLM,演算法及算力的支持则来自NVIDIA Taipei-1的DGX H100。

Project TAME使用多家企业所提供的各领域专业资料进行训练,因此参与专案的台大资工系博士班学生林彦廷强调其具有在地化的特色,避免模型以美国为主的意识形态、文化观点。举例来说,若询问语言模型何谓买东西「很盘」,GPT-4o回答「价格合理」,Project TAME则精准给出「买东西吃了亏」的正解。而让几个模型考台湾国考、高考及升高中、大学的考试时,总共37个题目,Project TAME拿到的分数远高于GPT-4o、Gemini等其他模型。

和硕联合科技研发经理朱仕任指出,和硕在过去10几年,一直在不同阶段的软体系统开发工作流程,目标是让企业用更低成本追求更高的自主营运。长春集团则透过公司内部的AI「iGenie」作为集团工安问题、产品资讯的知识库,并能做请假、预约会议室等庶务申请,未来希望能打造通用机器人,代替人进入石化业工作场所的危险场域。

长庚医院分享,医院内部已经完成5项生成式AI的落地应用,包含护理会诊、行政规章、专科照会等等。律果科技则协助Project TAME加入台湾法律语料进行训练,目前已经在台湾律师考试题目上试用。欣兴电子透过公司内部资料库,把模型调校成内部专用的产业专家模型,预计未来可提供更符合公司内部作法的准确建议,提升工作效率。

长春集团董事长林显东表示,符合台湾文化的语言模型,将为繁中使用者带来更精准的本地AI应用,除了提升用户体验,也将提升台湾在AI技术领域的竞争力,因此发表会后将开源模型给全球使用,不仅是技术共享、更是文化的传承与发扬。

延伸阅读