开源大模型分水岭：Meta发布Llama 3 对标GPT-4

本报记者 李玉洋 上海报道

大幅领先Gemma 7B和Mistral 7B Instruct、超越了闭源的当红的Claude 3 Sonnet、更能和谷歌Gemini Pro 1.5扳手腕……当地时间4月18日，Meta正式发布了让人等待已久的开源大模型Llama 3，一些基准测试结果显示其是目前性能最强的开源模型之一。

据了解，Meta发布了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本（B代表数十亿，代表模型的复杂程度以及它对训练的理解程度），其中Llama 3 8B在语言（MMLU）、知识（GPQA）、编程（HumanEval）、数学（GSM-8K、MATH）等能力上评测得分大幅超过Google和Mistral所开发的同级别模型，数学、编程能力翻倍。Meta公司首席执行官马克·扎克伯格（Mark Zuckerberg）表示，最小的Llama 3基本上与最大的Llama 2一样强大。

不止于此，Meta未来还将推出超过4000亿参数的Llama 3版本。对此，英伟达高级研究经理Jim Fan说，这个还在训练中的Llama 3 400B将成为开源大模型的一个分水岭，将改变许多研究工作和创业公司的经营状况。

“公司技术说微调Llama 3可以对标PK GPT-4。”AIGC创业者席文告诉《中国经营报》记者，虽然他自己将信将疑，但是很期待。他表示，会将Llama 3应用于销售和营销、人力资源管理等2B业务领域，因为“刚需高频容易变现，也是迫在眉睫要改变的”。

功能强大的公开可用大模型

根据介绍，Llama 3的主要亮点有以下这些：基于超过15万亿token训练，相当于Llama 2数据集的7倍还多；预训练数据虽然主要以英语为主，但其中包含超30种语言的高质量非英语数据；支持8K长文本，改进的tokenizer具有128K token的词汇量，可实现更好的性能；包括增强的推理和代码能力的新能力范畴；训练效率比Llama 2高3倍；带有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具等。

随后，Llama 3很快在亚马逊AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM的云平台WatsonX、微软云Azure、英伟达的NIM和Snowflake上推出，并得到AMD、AWS、戴尔、英特尔、英伟达提供的硬件平台支持。

关于Llama 3的全方位技术详解也跟着浮现。比如Llama 3采用了优化的自回归Transformer架构，这种架构能够有效提升生成文本的连贯性和相关性；结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合调优方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。此外，为了提高Llama 3模型的推理效率，Meta还采用了分组查询注意力（GQA）机制，在8192个tokens的序列上训练模型，并使用掩码确保自注意力不会跨越文档边界。

值得一提的是，与基础模型一同发布的，还有基于Llama 3的官方Web版本，名字就叫Meta AI。据Meta介绍，Llama 3将被整合到其虚拟助手Meta AI中，这是免费使用的同类产品中最先进的AI应用程序。Meta AI助手已经在Facebook、Instagram、WhatsApp和Messenger等应用中上线，随后也将迎来更新。

对于Llama 3，业界大佬对其表现点赞。OpenAI原资深研究科学家安德烈·卡帕蒂（Andrej Karpathy）认为，80亿参数的Llama 3“会非常受欢迎”，效果接近参数更多的GPT-3.5，而且需要的算力低、反应快，甚至可以在手机、电脑上本地运行。

Meta AI首席科学家、图灵奖得主Yann LeCun不仅为Llama 3的发布摇旗呐喊，并再次预告未来几个月将推出更多版本。就连特斯拉CEO马斯克也现身于评论区，用一句简洁而含蓄的“Not bad”，表达了对Llama 3的认可和期待。

研究机构Omdia人工智能首席分析师苏廉节认为，Meta公开了Llama 3训练数据集，还有一些数据安全的措施，这更加透明，且有助于提升使用者的信心。据了解，Llama 3 8B版本数据更新截至2023年3月，而70B版本则为同年12月。

Meta公布的基准测试结果显示，Llama 3 8B在MMLU、GPQA、HumanEval等测试的得分远超Google Gemma 7B和Mistral 7B Instruct；而Llama 3 70B则跻身于顶尖AI模型的行列，整体表现碾压Claude 3大杯，与Gemini 1.5 Pro相比则是互有胜负。

不止于此，扎克伯格还表示4050亿参数顶配版Llama 3将在今年晚些时候推出。 对此，JIm Fan认为即将推出的Llama 3 400B+，像是开源模型与顶尖闭源模型并驾齐驱的象征。

为开源模型扳回一城

与不开源的OpenAI相比，Meta沿着开源路线朝AGI（通用人工智能）的圣杯发起了冲锋。手握35万块GPU的扎克伯格在接受The Verge的采访时描绘了Meta的愿景——致力于打造AGI。

如今的开源模型当真是百花齐放、百家争鸣。AI写作助手创企HyperWriteAI的CEO见到Llama 3的惊人表现忍不住感慨：“我们正在步入一个新世界，一个GPT-4级别的模型开源并且可以自由访问的世界。”

在过去的一年中，整个AI圈在围绕开源或闭源的路线争论不休。马斯克亲自下场，通过开源Grok 1.0为开源路线站台。日前，百度创始人、董事长兼首席执行官李彦宏在Create 2024百度AI开发者大会上表示：“大家以前用开源觉得便宜，其实在大模型场景下，开源是最贵的。所以，开源模型会越来越落后。”

如今，Llama 3的到来，为开源模型扳回一局，但这场关于开源与闭源的辩论还远未结束。“我觉得最重要的还是应用场景，目前Meta部署得相对保守，我期待看到Meta将这个部署在更多的商业应用上。”苏廉节表示。

AI创业者刘付江告诉记者，Llama 3的发布，意味着他们不需要花钱购买OpenAI他们的API了。“相比Llama 2，Llama 3的参数规模更大，模型框架得到优化，训练数据更多，所支持语言增多，对话问答推理都有很大提升。初体验下来效果比GPT-3.5强，比4.0差一点。”他表示，将在本地部署Llama 3，帮企业做大模型的中控系统，连接工厂车间里的数字化系统、ERP系统和设备，“先试用一段时间，仍需要大量的测试”。

席文则把Llama 3的商业应用优先放在了营销上。“AI可以帮助企业更精准地定位目标市场，提高广告和营销活动的效果。”他表示，因为营销刚需高频，且容易变现。

记者注意到，用AI将营销全链条重做一遍，已是大厂共识。如果说大模型的落地，在一些领域像“拿着锤子找钉子”，那营销领域则属于“一堆钉子等锤子”，因为营销中存在大量的基础性工作，等待AI来解放。

文生图、图生图、文生视频……各种形式的AIGC，首当其冲的是制作广告素材，近一年内，大厂们相继推出了自己的AIGC工具，用于商家制作广告素材。

比如，阿里妈妈去年7月上线了“万相实验室”，今年3月阿里又上线了“绘蛙”；百度去年6月推出“擎舵”；抖音去年10月推出“即创”；京东去年12月推出“京点点”；腾讯今年1月推出“妙思”。它们左手有AI大模型，右手有客户和场景，可谓是AI营销落地的最佳“试炼场”。

需要指出的是，虽然现在Meta已经提供了Llama 3的下载方式，便于广大开发者免费使用，但该公司更倾向于用“开放”而不是“开源”一词来定义该模型。原因在于，Meta即便允许开发者用Llama 3开展学术研究或开发商业应用，但却并不像用户想象的没有任何附加条件去使用。

换句话说，Meta禁止开发者使用该模型训练其他生成式模型，并且要求“每月活跃用户超过7亿”的公司必须向它申请特殊许可，再由Meta自行决定是否授予这一许可。

（编辑：吴清 审核：李正豪 校对：颜京宁）