Intel以第六代Xeon處理器、Gaudi 3推動人工智慧發展 降低持有成本
今年在Computex 2024期间展示以Intel 3制程生产、代号「Sierra Forest」，并且采全E Core设计的第六代Xeon处理器，同时也展示Gaudi 3人工智慧加速器套件之后，稍早宣布推出采用P Core设计的第六代Xeon处理器，同时也强调Gaudi 3人工智慧加速器套件在执行LLaMa 2 700亿参数模型推论时，相比NVIDIA的H100加速方案能在一样成本下提供2倍效能。
Intel说明增加P Core设计的第六代Xeon处理器是针对处理运算密集型的工作负载所打造，并且在兼具执行效率优势。相比前一代处理器，第六代Xeon处理器能提供2倍的效能，并且在核心数增加，同时也使记忆体频宽加倍，更让人工智慧加速功能嵌入每个核心，借此满足边缘运算至资料中心、和云端环境的人工智慧效能需求。
而Gaudi 3人工智慧加速器套件则是针对大规模自动生成式人工智慧最佳化设计，本身具备可加速深度神经网路运算的64个张量处理器核心 (TPC)与8个矩阵乘法引擎 (MME)，另外也包含可用于训练与推论的128GB容量HBM2e记忆体，以及用于可扩充网路的24个200 Gb乙太网路连接埠。
Gaudi 3更相容PyTorch框架、Hugging Face Transformer模型和diffuser模型，而Intel也与IBM合作，将Gaudi 3人工智慧加速器套件布署至IBM Cloud，借此让IBM旗下客户使用人工智慧，并且扩展人工智慧应用规模时，能在提升运算效能的同时降低总持有成本 (TCO)。
目前Intel将透过其Tiber Developer Cloud平台提供第六代Xeon处理器预览，让客户可借此进行技术评估与测试使用。而特定客户则可抢先体验Gaudi 3人工智慧加速器套件，借此验证人工智慧模型布署是否相容，Gaudi 3丛集则预计从下一季开始提供，并且可供大规模量产布署应用。
另外，Intel也宣布在自动生成式人工智慧解决方案从原型设计推进至量产就绪的过程中，将面临即时监控 (real-time monitoring)、错误处理 (error handling)、记录日志档 (logging)、安全性和可扩充性等方面的挑战，因此将与OEM厂商、合作伙伴透过共同设计，推出量产就绪的撷取扩增世代 (RAG)解决方案。
这些解决方案将建立于Open Platform For Enterprise AI (OPEA)平台之上，基于微服务架构整合至可扩充的RAG系统，并且针对Xeon处理器、Gaudi人工智慧加速器套件进行最佳化，借此协助客户更容易整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI等人工智慧应用程式。
《原文刊登于合作媒体代号「Sierra Forest」，并且采全E Core设计的第六代Xeon处理器，同时也展示Gaudi 3人工智慧加速器套件之后，稍早宣布推出采用P Core设计的第六代Xeon处理器，同时也强调Gaudi 3人工智慧加速器套件在执行LLaMa 2 700亿参数模型推论时，相比NVIDIA的H100加速方案能在一样成本下提供2倍效能。
Intel说明增加P Core设计的第六代Xeon处理器是针对处理运算密集型的工作负载所打造，并且在兼具执行效率优势。相比前一代处理器，第六代Xeon处理器能提供2倍的效能，并且在核心数增加，同时也使记忆体频宽加倍，更让人工智慧加速功能嵌入每个核心，借此满足边缘运算至资料中心、和云端环境的人工智慧效能需求。
而Gaudi 3人工智慧加速器套件则是针对大规模自动生成式人工智慧最佳化设计，本身具备可加速深度神经网路运算的64个张量处理器核心 (TPC)与8个矩阵乘法引擎 (MME)，另外也包含可用于训练与推论的128GB容量HBM2e记忆体，以及用于可扩充网路的24个200 Gb乙太网路连接埠。
Gaudi 3更相容PyTorch框架、Hugging Face Transformer模型和diffuser模型，而Intel也与IBM合作，将Gaudi 3人工智慧加速器套件布署至IBM Cloud，借此让IBM旗下客户使用人工智慧，并且扩展人工智慧应用规模时，能在提升运算效能的同时降低总持有成本 (TCO)。
目前Intel将透过其Tiber Developer Cloud平台提供第六代Xeon处理器预览，让客户可借此进行技术评估与测试使用。而特定客户则可抢先体验Gaudi 3人工智慧加速器套件，借此验证人工智慧模型布署是否相容，Gaudi 3丛集则预计从下一季开始提供，并且可供大规模量产布署应用。
另外，Intel也宣布在自动生成式人工智慧解决方案从原型设计推进至量产就绪的过程中，将面临即时监控 (real-time monitoring)、错误处理 (error handling)、记录日志档 (logging)、安全性和可扩充性等方面的挑战，因此将与OEM厂商、合作伙伴透过共同设计，推出量产就绪的撷取扩增世代 (RAG)解决方案。
这些解决方案将建立于Open Platform For Enterprise AI (OPEA)平台之上，基于微服务架构整合至可扩充的RAG系统，并且针对Xeon处理器、Gaudi人工智慧加速器套件进行最佳化，借此协助客户更容易整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI等人工智慧应用程式。" target="_blank">mashdigi，联合新闻网获授权转载。》