《科技》Arm与Meta合作推进 ExecuTorch加速AI边缘应用

ExecuTorch是一款专为行动和边缘端装置部署AI模型而设计的PyTorch原生部署框架，结合Arm的运算平台，可大幅优化生成式AI效能。开发人员无需额外的修改或优化，即可将新的量化模型无缝整合到应用中，从而节省时间和资源。特别是新的Llama3.2 1B和 3B量化模型，能减少记忆体占用、提高准确性和效能，使小型装置上的生成式AI应用（如虚拟聊天机器人、内容摘要和AI助理等）更具可行性和高效性。

在行动装置领域，Arm与ExecuTorch的合作加速了生成式AI的实现。此次合作整合了KleidiAI，导入针对4位元量化优化的微核心，并透过XNNPACK整合在ExecuTorch中，使Llama3.2 1B量化模型在Arm装置上的预填充阶段执行速度提高了20%，生成内容的速度达到每秒超过400个词元（token）。这使得使用者能在搭载ArmCPU的行动装置上享受到更快速且灵敏的AI互动体验。

除了行动装置外，ExecuTorch在物联网（IoT）领域也展现了强大的应用潜力。它提升了边缘端AI应用的即时处理能力，使智慧家电、可穿戴装置、自动零售系统等物联网装置能以毫秒级速度回应环境变化，对安全性和功能的即时可用性至关重要。ExecuTorch可在ArmCortex-ACPU和Ethos-UNPU上运行，开发人员可在平台上市前的几个月内着手开发边缘端AI应用。

透过这次合作，Arm正在让AI和ML的开发变得更易获取、更快捷，并进一步将生成式AI技术普及到更多边缘端装置上。ExecuTorch 测试版的推出，使得开发人员能更快速地部署AI应用，带来更多创新可能，未来有望成为全球最受欢迎的高效率AI开发框架之一。