【Meta官方】Llama生态系统：过去、现在和未来

文：城主

前言

这是Meta官方对Llama发布半年的一个自我总结。

有一句评论深感赞同，Llama开源大模型有望成为LLM时代的安卓。

在OpenAI让人失望的成了CloseAI之后，Llama的发布给全世界做AI+项目 研发的人们一记强心针。道理很简单， 有多少企业敢把所有身家和未来赌在一个只有API调用的核心模式上呢，就算这种闭源API再强大，也必须至少有一个后手吧。更不用说费用和数据安全的问题。

即使看LLM水平本身，Llama2以及后续社区优化版本已经直追GPT-4，很有点SD社区大模型和Midjourney模型的味道：即使没有100%赶上，但也非常接近了；更重要的是，社区各种Llama魔改版，就类似各种SD模型一样，在不同的垂直领域特别好用。

如果我们看手机系统，即使苹果手机系统这么强势，开放的安卓生态也早就超过了半壁江山。或许这就是未来的LLM版图：闭源和开源模型平分天下， 甚至闭3开7。

Meta昨天的Connect大会可圈可点，有AI有XR有智能App。城主看了之后，颇有一种感觉：Meta已熬过了它最艰难的时刻，未来有AI+元宇宙双概念加持的Meta，或许要开始走出一条高开的曲线了呢。

前不久，Meta AI掌门人，AI三巨头的Yann LeCun在参议院捍卫Llama的开源精神（），实是有些让人敬佩。无论如何，仅就Llama对世界范围AI发展的贡献，城主认为就值得向Meta脱帽致敬，相信所有做AI+的团队都有同样的敬意。

Llama社区加油！

（在刚结束的Meta Connect 2023上，Meta GenAI VP 谈Llama大模型的视频）

=以下是原文完整中文版=

英文原文链接：

https://ai.meta.com/blog/llama-2-updates-connect-2023/

自我们发布Llama1以来大约已经过去七个月，而Llama2的发布仅仅过去了几个月，紧接着是CodeLlama的发布。简而言之，社区的反应令人震惊。我们看到了大量的动力和创新，通过Hugging Face下载的基于Llama的模型超过3000万次，仅在过去的30天里就有超过1000万次。就像PyTorch一样，Llama已经发展成为全世界建设的平台，我们对此感到非常兴奋。

迄今为止的影响

Llama社区的增长有几个显著的发展：

◦云使用：像AWS、Google Cloud和Microsoft Azure这样的主要平台已经在他们的平台上接纳了Llama模型，而Llama2在云中的存在正在扩大。今天我们宣布AWS成为我们的第一个为Llama2提供管理API的合作伙伴。现在，所有规模的组织都可以在Amazon Bedrock上访问Llama2模型，而无需管理底层的基础设施。这是一个可访问性的重大改变。此外，到目前为止，Google Cloud和AWS的终端使用情况令人难以置信，基于Llama2模型的企业项目启动超过3500个。

◦创新者：创新者和初创公司正在将Llama作为他们生成AI产品创新的基础。成千上万的初创公司正在使用或评估Llama2，包括Anyscale、Replicate、Snowflake、LangSmith、Scale AI等等。像DoorDash这样的创新者正在使用它进行大规模的实验，以便在发布新的LLM驱动的功能之前。

◦众包优化：开源社区真正接纳了我们的模型。到目前为止，社区已经对Hugging Face进行了微调，并发布了超过7000个衍生产品。平均来说，在标准基准测试中，这些产品在常见基准测试中的性能提高了近10%，在像TruthQA这样的基准数据集中的改进达到了惊人的46%。

◦开发者社区：现在在GitHub上有超过7000个基于Llama或提及Llama的项目。新的工具、部署库、模型评估方法，甚至“微型”版本的Llama正在被开发，以将Llama带到边缘设备和移动平台。此外，社区已经扩展了Llama以支持更大的上下文窗口，增加了对额外语言的支持，等等。

◦硬件支持：硬件社区已经完全接纳了Llama作为一个关键的模型架构。主要的硬件平台AMD、Intel、Nvidia和Google已经通过硬件和软件优化提高了Llama2的性能。

生态系统充满活力，参与者遍布从服务器和移动硬件到云平台、初创公司和企业的每一层。最近发布的CodeLlama，这些模型在许多平台上都能在几个小时内使用，为社区创造了令人难以置信的速度。

它开始于一个快速发展的研究项目...在过去的几年里，大型语言模型(LLMs)——拥有数十亿参数的自然语言处理(NLP)系统——已经展示出新的能力，如生成创造性的文本、解决数学定理、预测蛋白质结构、回答阅读理解问题等等。这些项目代表了AI可以为数十亿人提供的显著潜在利益的明确例子。

原始项目，LLaMA或我们最近称之为Llama1，是由一个主要专注于形式数学的团队在FAIR中开发的，但同时看到了LLMs的力量，以及如何通过正确的缩放法则和高度策划的数据训练一个相对较小的模型，可以成为新应用研究的强大基础。因此，Llama的第一代诞生了，并且自那时起在学术界和全世界引发了创新。事实上，在几天内，各个学术机构的研究人员就能够调整出能够遵循指示或处理额外任务的更好版本的Llama1。从那时起，社区开始在许多方面和方向上进行创新。

但是我们希望让更多的人能够使用这项技术。这就是Llama2的由来。

为什么我们要发布我们的模型？

正如我们的历史所显示的，我们深信开源社区的力量。我们相信，最先进的AI技术在开放和对所有人可访问的情况下会更安全、更好地对齐。此外，在高熵区域，建立桥梁并利用不可避免产生的创新是有利的。这对于PyTorch来说是真实的，其中像稳定扩散、GPT 3和GPT 4这样的突破不断地颠覆了AI的世界，对于Llama也是如此。对于我们Meta来说，我们可以沿着三个轴总结价值：

研究：新的技术、性能优化、工具和评估方法，包括在安全性方面的工作，使Meta能够从研究社区中更快地吸收学习。许多这些社区也是新兴的，公开合作使得取得进展更为容易；

企业和商业化：越多的企业和创业公司在我们的技术上建立，我们就能更多地了解使用案例、安全模型部署和潜在机会；以及

开发者生态系统：LLMs已经从根本上改变了AI开发，每天都有新的工具和方法用于操作、管理和评估模型。拥有一种通用语言使我们能够快速利用这些技术，加速我们的内部堆栈。

但这对于Meta来说并不新鲜。就像PyTorch和其他几十个公开发布或开源项目一样，这种理念深深地根植在我们公司的DNA中。

前进的道路

有一件事是肯定的：生成AI领域发展迅速，我们都在一起学习这项技术的能力和应用。Meta仍然致力于今天的AI的开放方式。以下是我们在这个旅程中继续关注的几个领域：

多模态：就像世界并非完全由文本构成一样，AI可以接受新的模态，以实现更多沉浸式的生成体验；

安全和责任：生成AI已经使负责任的AI世界焕发新生。我们将更加重视安全和责任，开发新的工具，建立合作伙伴关系，并利用Llama作为我们的社区继续学习如何安全和负责任地建设的工具；以及

关注社区：就像PyTorch一样，我们将这看作是一个有发言权的开发者社区，我们希望给予他们权力和推动他们创新的工具。我们的目标是为社区提供展示工作、贡献和讲述他们故事的新方式。

想了解更多关于Llama家族的信息吗？

在Meta Connect主题演讲（完整）中，我们谈了很多关于我们的Llama模型和开放访问的未来。从我们的会议到动手工作坊，我们很高兴与您分享我们的最新发展。

以下是您可以深入了解和学习更多的一些方式：

a.下载模型并与Llama 2互动。

b.参加Connect Sessions，包括我们关于使用Llama模型的工作坊。

c.访问ai.meta.com/llama阅读论文，查看我们的负责任使用指南和可接受使用政策，并了解更多关于支持Llama生态系统的合作伙伴。

作者：

Joe Spisak 产品总监

Sergey Edunov 工程总监