Meta 与 Arm 携手推动 AI 融入更多领域

在未来，大型语言模型可能会让您只需与手机对话即可拍照，而无需按下相机按钮。诸如此类的对话界面或许有朝一日不仅能为手机提供支持，甚至还有可能为手表和安全摄像头提供支持。

这是 Meta 和 Arm 的产品经理所言，他们合作开发了一对在今天的 Meta Connect 活动上亮相的紧凑型 AI 模型，这些模型旨在在手机上运行。这两家公司都在愈发激烈的竞争中努力将生成式 AI 引入手机，毕竟这已成为手机的必备功能。比如三星 Galaxy S24 系列有 Galaxy AI，谷歌 Pixel 9 Pro 有 Gemini AI，苹果智能 也将在新的iPhone 16 系列推出。

Meta 的新 AI 模型相对较小，其参数分别为 10 亿和 30 亿（分别标记为 Llama 3.2 1B 和 3B）。它们适用于手机，也可能适用于其他小型设备。它们用于“边缘”——换句话说，不是通过云进行计算，而是在设备上。

“我们认为这对我们而言是一个极好的机会，能够将大量推理转移到设备和边缘用例上。”Meta 生成式 AI 产品管理副总裁 Ragavan Srinivasan 说道。

斯里尼瓦桑解释道，智能手机和其他设备将能够使用这些较小的模型来进行诸如文本摘要之类的操作，例如总结一堆电子邮件，以及创建日历邀请——这些都深度融入了移动工作流程。

1B 和 3B 模型特意设计得比较小，以便在手机上运行，并且只能理解文本。在 Llama 3.2 代中发布的两个较大模型，11B 和 90B，太大而无法在手机上运行，并且是多模态的，这意味着您能够提交文本和图像来获取复杂的答案。它们取代了之前只能理解文本的上一代 8B 和 70B 模型。

Meta 与 Arm 密切合作，Arm 为 CPU 和其他硅设计架构，这些架构用于高通、苹果、三星、谷歌等公司的芯片中。全球有超过 3000 亿台基于 Arm 的设备存在，有大量的计算机和手机可以使用这些模型。Meta 和 Arm 通过合作，致力于帮助约 1500 万名 Arm 设备应用程序的开发者构建支持这些 Llama 3.2 模型的软件。

“Meta 在这里所做的确实正在改变对这些前沿模型的获取途径，以及开发者社区能够利用它做些什么，”Arm 客户端业务总经理克里斯·伯吉（Chris Bergey）说道。

该合作伙伴关系着重于帮助开发者支持较小的 Llama 3.2 模型，并迅速将其集成到他们的应用程序中。伯吉推测，他们可以利用这类语言模型来创建新的用户界面以及与设备交互的方式。例如，你不必按下按钮来打开相机应用程序，而是可以与你的设备进行对话，并说明你希望它做什么。

考虑到设备的数量以及他们能够部署像 1B 或 3B 这样较小模型的速度，伯吉表示开发者可能很快就会在他们的应用程序中开始支持这些较小模型。“我认为最早在明年年初，如果不是今年年底的话，”他说。

传统的大型语言模型（LLM）逻辑认为，参数越多，语言模型越强大。1B 和 3B 分别只有 10 亿和 30 亿个参数，其参数数量远远少于其他大型语言模型。正如斯里尼瓦桑所说，尽管参数大小是智能的一个指标，但它不一定是一回事。Llama 3.2 模型建立在 Meta 今年早些时候发布的Llama 3 系列模型的基础上，包括该公司生产的最强大的Llama 3.1 模型 405B，Meta 当时表示这是最大的公开可用的 LLM——并且该公司将其用作 1B 和 3B 模型的某种教师。

斯里尼瓦桑说，开发人员希望将较小的模型用于绝大多数的上限或设备上的任务。他们希望选择哪些任务非常复杂，以至于要发送到参数更高的 8B 和 70B 模型（4 月宣布的 Llama 3 代），这些模型需要在更大的设备和云端进行计算——但从用户的角度来看，这一切都应该十分顺畅无缝。

“其结果应当是对需要快速响应的提示能够做出极为迅速的回应，然后是能力的优雅融合，然后对于一些更高容量的模型转向云端，”斯里尼瓦桑说。

拥有 1B 和 3B 这类相对参数较小的模型的好处在于其效率相对更高

Bergey 称，相较于更大模型的能耗和更长的计算时间，它们能在 1 瓦特的功率下或 8 毫秒内给出答案。这或许能让它们适用于功能不太强的平台，像智能手表、耳机之类的配件，尽管要为运行大型语言模型提供足够的功率和内存，仍存在挑战。目前，智能手机是合适的，因为它们两者都具备。

未来，参数较小的模型或许非常适合那些没有传统用户界面或者依赖外部设备来控制的设备，比如安全摄像头。“我觉得，就适用性而言，这肯定远超智能手机的范畴了，特别是在涉及较小模型的时候”，Bergey 说。