AWS和輝達擴大合作 推動生成式AI創新

辉达。路透

辉达(NVIDIA)推出最新AI顶尖算力Blackwell GPU平台,Amazon网路服务(AWS)表示,双方合作,将AWS在生成式AI创新推向新高度。AWS将提供基于NVIDIA Grace Blackwell GPU的Amazon EC2实例和NVIDIA DGX Cloud,以提高在数万亿参数LLM(大语言模型)上建构和运行推论的效能。

NVIDIA的超强运算晶片系统与AWS强大的Elastic Fabric Adapte(EFA)网路连接能力、高级虚拟化(Amazon Nitro System)和超大规模丛集(Amazon EC2 UltraClusters)等领先技术的结合,使得该平台在加速资源密集型、数万亿参数语言模型的推论工作负载方面实现了巨大进步。

在安全性方面,AWS的Nitro系统、AWS KMS、EFA加密和 Blackwell 加密的整合将为客户提供对其训练资料和模型权重的端到端控制,进而为客户在AWS上的生成式AI应用程式提供更强的安全性。

AWS指出,Blackwell也加入了双方合作的Project Ceiba,该专案专为NVIDIA自身的AI研发工作设计,是一台AWS上托管的采用DGX Cloud的AI超级电脑,搭载了20,736颗GB200 Superchips晶片,透过第四代EFA网路扩展,为每个Superchip提供高达800 Gbps的低延迟、高频宽网路传输量,能够提供414 exaflops的运算能力,与之前计划在Hopper架构上建构的Ceiba相比,效能提升了六倍。