輝達今在台日同步推出四款 用於生成式AI的NIM微服務

NVIDIA在日本与台湾推出用于生成式AI的NIM微服务。图/辉达提供

全球AI霸主辉达（NVIDIA ）今日宣布推出四款全新NVIDIA NIM微服务，让开发人员能够更轻松地建置与部署高效能的生成式AI应用。

这些微服务支援社群常用的各种模型，并且针对地区需求量身打造。这些微服务可以按照当地语言和文化传统，透过准确理解和改善的回应，强化与使用者的互动。

世界各国都在追求发展主权 AI，利用自己的运算基础设施、资料、劳动力及商业网路来发展人工智慧（AI），以确保 AI 系统符合当地的价值观、法律与利益。

根据 ABI Research 的资料显示，光是在亚太地区，预计到2030年时，生成式AI软体的营收将从今年的50亿美元成长到480亿美元。

使用日文资料训练出的 Llama-3-Swallow-70B，以及用国语资料训练出的 Llama-3-Taiwan-70B，都属于区域语言模型，可以更深入了解当地法律、法规和其他习俗。

建立在Mistral-7B 模型上的 RakutenAI 7B系列模型，投入英文和日文资料集进行训练，并且可以当成用于对谈（Chat）和指令（Instruct）的两种不同的NIM微服务提供给外界使用。乐天（Rakuten）的基础和和指令模型在开放的日文大型语言模型中取得亮眼成绩，在2024年1月至3月进行的LM Evaluation Harness基准中，平均分数名列前茅。

使用一个地区的语言训练大型语言模型（LLM），能够更好地理解和反映文化与语言上的微妙之处，有助于确保进行更加精准细致的沟通，创造出更有效果的输出内容。

与 Llama 3等基础LLM相比，这些模型在理解日语和国语、处理当地法律任务、回答问题，以及语言翻译和总结方面的表现相当优异。

从新加坡、阿拉伯联合大公国、南韩和瑞典，再到法国、义大利和印度，世界各国均投注心力发展主权AI基础设施。

全新 NIM微服务让企业、政府机构和大学可以在自己的环境中托管原生LLM，使得开发人员能够开发先进的AI辅助功能（copilots）、聊天机器人和AI助理。开发人员可以轻松把包装为NIM微服务的主权 AI模型部署到生产环境，同时获得更优异的效能表现。