《科技》NVIDIA推四款全新NIM微服务 全球加速主权AI发展

这些NIM微服务支援社群常用的各种模型，并针对地区需求量身打造，能够按照当地语言和文化传统提供准确的回应，强化与使用者的互动。根据ABI Research的数据显示，仅亚太地区的生成式AI软体营收，预计将从今年的50亿美元增长至2030年的480亿美元。

在区域语言模型方面，使用日文资料训练的Llama-3-Swallow-70B，以及使用国语资料训练的Llama-3-Taiwan-70B模型，能够更深入了解当地法律、法规和文化习俗。RakutenAI 7B系列模型则基于Mistral-7B模型，经过英文和日文资料集的训练，可作为对话和指令的NIM微服务，为外界提供服务。这些区域语言模型在理解当地语言、处理法律任务及语言翻译等方面表现优异。

世界各国从新加坡、阿拉伯联合大公国、韩国到法国、义大利及印度，均投入大量资源发展主权AI基础设施。全新NIM微服务允许企业、政府机构和大学在自身环境中托管原生LLM，使开发人员能够开发先进的AI辅助功能、聊天机器人和AI助理。

开发人员可以轻松将这些包装为NIM微服务的主权AI模型部署到生产环境中，同时享受更高效能的表现。NVIDIA AI Enterprise提供的微服务经由TensorRT-LLM开源函式库进行推论最佳化，使得NIM微服务能够提供高达五倍的输出量，显著降低生产环境中的运行成本及延迟，提升使用者的操作体验。

全新NIM微服务已可通过托管式API供应使用，为全球各产业提供必要的安全性，加速生成式AI应用的部署与提升整体效能，涵盖医疗保健、金融、制造业、教育与法律等领域。