結合Llama 3.1開源模型、搭配NVIDIA AI Foundry服務與NIM微服務 更快打造各類客製化AI應用功能

▲结合Llama 3.1开源模型、搭配NVIDIA AI Foundry服务与NIM微服务，更快打造各类客制化AI应用功能

针对Meta稍早公布可对应4050亿组参数规模的大型自然语言模型Llama 3.1，NVIDIA在稍早对外说明Llama 3.1以超过16000组NVIDIA H100加速器、超过15兆个词元 (token)资料集训练而成，并且透过NVIDIA AI Foundry服务与NVIDIA NIM微服务让企业打造各类客制化人工智慧应用功能。

NVIDIA表示，其NVIDIA AI Foundry服务是以NVIDIA DGX Cloud AI平台建构而成，并且能依照人工智慧运作规模等需求扩展。另一方面，则是借由NVIDIA NIM微服务快速布署人工智慧模型应用，借此快速建构各类以人工智慧驱动的网路服务。

▲NVIDIA AI Foundry服务是以NVIDIA DGX Cloud AI平台建构而成，并且能依照人工智慧运作规模等需求扩展

▲借由NVIDIA AI Foundry服务与NVIDIA NIM微服务打造客制化人工智慧服务的流程

▲NVIDIA NIM微服务将能对应各类应用服务设计

而透过此次Meta推出的大型自然语言模型Llama 3.1，结合NVIDIA旗下软体、运算技术，即可针对特定应用需求建构客制化的「超级模型」，例如借由NVIDIA Nemotron Reward模型所产生合成资料，用于训练不同客制化的「超级模型」。

▲Meta稍早宣布推出的Llama 3.1模型，可对应4050亿组、700亿组或80亿组参数规模，同时也能结合NVIDIA NIM微服务运作使用

企业目前可透过NVIDIA官网下载适用于Llama 3.1的NVIDIA NIM微服务，借此建构包含人工智慧数位助理、数位分身等应用功能，而全球专业服务公司Accenture目前已经率先采用NVIDIA AI Foundry服务，透过其Accenture AI Refinery框架建立客制化的Llama 3.1应用模型，借此加快人工智慧技术应用发展。

▲对应更快的人工智慧运作效率

至于需要额外训练资料，借此创建特定领域模型应用的企业，则可同时使用Llama 3.1 4050亿组参数版本，搭配NVIDIA Nemotron-4 3400亿组参数版本所生成合成资料，进而在建立客制化「超级模型」时提高其运作精准度，而拥有自身训练资料的企业，则可透过NVIDIA NeMo服务打造客制化的Llama 3.1模型。

另外，NVIDIA与Meta也合作提供Llama 3.1的精简方案，让开发人员能借此构建更小规模的客制化Llama 3.1模型，让企业能在工作站或笔电端布署小规模自动生成式人工智慧技术。

▲可对应多元人工智慧应用场景

目前包含医疗保健、金融服务、零售、运输和电信领域公司已经开始使用NVIDIA NIM微服务，而首波采用Llama 3.1与新版NVIDIA NIM微服务的企业包括沙乌地阿拉伯国家石油公司、AT&T、Uber，以及其他业者，借此对应更快执行反应速率

《原文刊登于合作媒体mashdigi，联合新闻网获授权转载。》