Arm新利器上陣 加速從雲端到邊緣AI整合

Arm新利器上阵，加速从云端到边缘AI整合。（美联社）

Arm控股公司近期宣布透过将 Arm Kleidi 技术整合到PyTorch 和 ExecuTorch，促使新一代的应用在 Arm CPU 上运行大语言模型（LLM）。Kleidi 汇集了最新的开发人员赋能技术和关键资源，目标在于推动机器学习（ML）技术堆叠中的技术协作和创新。透过这些重要进展，Arm致力于为每一位 ML技术堆叠的开发人员提供更为顺畅的体验。

Arm策略与生态部开发人员技术副总裁 Alex Spinelli 表示，「Arm 正与领先的云端服务供应商和框架设计者紧密合作，以打造便捷的开发环境，让软体发展人员能够轻松地在基于 Arm 架构的硬体上加速人工智慧（AI）和 ML 工作负载。自该技术推出的四个月以来，Kleidi 已在 Arm CPU 上加速开发并显著提升主要的 AI 效能。Arm 与 PyTorch 社群的紧密合作，印证了该技术可大幅减少开发人员利用高效率 AI 所需的工作量。」

Arm指出，在云端，Kleidi 以利用 Arm Compute Library（ACL）强化 PyTorch 带来的成果为基础，为世界各地在 Arm 平台上优化 AI 的开发人员打造蓝图。使开发人员免去其不必要的工程工作，以便开发人员能将 Arm 视为运行其关键 ML 工作负载的首选平台。做为实现此一愿景的关键一步，Arm直接与 PyTorch 和 TensorFlow 进行 Arm Kleidi Libraries （函式库）的整合合作，这包括将基本的 Arm函式库整合到上述的领先框架中。

透过优化torch.compile来更有效率地使用透过 ACL 提供的 Kleidi 技术，在基于 AWS Graviton3 上所测得的资料显示，各类 Hugging Face 模型推理工作负载上的效能可提升1.35至2倍。这些仅是出色的云端范例之一，却代表了在 Arm 平台上普及 ML 工作负载时可实现的效能加速类型。Arm 将持续投入，以确保开发人员的 AI 应用，从云到边缘都能完美运行，其中包括新功能与前代的相容，进而使得开发人员能够立即从中获益。