AMD Ryzen AI 300 称霸 LLM AI 性能，超英特尔

根据 AMD 最近的内部测试，AMD 的 Ryzen AI 300 系列移动处理器在本地大型语言模型（LLM）的性能方面，轻松战胜了英特尔的移动竞品。该公司社区博客中的一篇新博文阐述了 AMD 为在 AI 性能方面战胜英特尔而进行的测试，以及如何为任何感兴趣的用户充分利用流行的 LLM 程序 LM Studio。

AMD 的大多数测试都是在 LM Studio 中进行的，这是一款用于在本地下载和托管 LLM 的桌面应用程序。该软件基于 llama.cpp 代码库构建，允许使用 CPU 和/或 GPU 加速来为 LLM 提供动力，并且对模型的功能提供了其他的控制。

使用 Meta 的 Llama 3.2 的 1b 及 3b 变体、微软的 Phi 3.1 4k Mini Instruct 3b、谷歌的 Gemma 2 9b 以及 Mistral 的 Nemo 2407 12b 模型，AMD 对搭载 AMD 旗舰产品锐龙 AI 9 HX 375的笔记本电脑与英特尔的中端酷睿 Ultra 7 258V进行了测试。这两款笔记本电脑相互进行测试，测量每秒的令牌速度以及生成第一个令牌所需的加速时间，这大致相当于每秒在屏幕上打印的单词数，以及提交提示到 LLM 开始输出之间的缓冲时间。

从上面的图表中可以看出，在所有五个测试的大型语言模型中，锐龙 AI 9 HX 375 在速度和开始输出文本的时间方面都比酷睿 Ultra 7 258V 表现更好。表现最为突出的是，AMD 的芯片速度比英特尔的快 27%。目前不清楚上述测试用的是哪些笔记本电脑，但 AMD 很快提到，测试中的 AMD 笔记本电脑的内存运行速度比英特尔的机器慢——7500 MT/s 对 8533 MT/s——而更快的内存通常对应着更好的大型语言模型性能。

需要指出的是，英特尔的 Ultra 7 258V 处理器与 HX 375 相比并非处于完全公平的竞争状况；258V 处于英特尔 200 系列 SKU 的中间位置，其最大睿频速度为 4.8 GHz，而 HX 375 则是 5.1 GHz。AMD 选择让其旗舰 Strix Point 芯片与英特尔的中等规格芯片竞争，这看上去有点不公平，所以在考虑 27%的性能提升这种说法时，要记住这一点。

AMD 还在测试中展示了 LM Studio 的 GPU 加速功能，把 HX 375 与自身作对比。虽然锐龙 AI 300 系列笔记本电脑中的专用 NPU 意在成为 AI 任务的驱动力，但按需程序级别的 AI 任务更倾向于用 iGPU。AMD 在 LM Studio 中借助 Vulkan API 进行 GPU 加速的测试对 HX 375 极为有利，以至于 AMD 未包含英特尔开启 GPU 加速时的性能数据。开启 GPU 加速后，锐龙 AI 9 HX 375 的 tk/s 速度比未开启 GPU 加速时快了多达 20%。

鉴于当前围绕基于人工智能性能的计算机有诸多报道，供应商们急于证明人工智能对于终端用户的重要性。像 LM Studio 或英特尔的 AI Playground 这类应用程序竭尽全力为用户提供一种既用户友好又万无一失的方式，来利用最新的迭代次数超过 10 亿次的大型语言模型供个人使用。大型语言模型以及为了使用大型语言模型而充分发挥计算机的性能对大多数用户而言是否重要，那就是另一回事了