开源大模型分水岭:Meta发布Llama 3 对标GPT-4

本报记者 李玉洋 上海报道

大幅领先Gemma 7B和Mistral 7B Instruct、超越了闭源的当红的Claude 3 Sonnet、更能和谷歌Gemini Pro 1.5扳手腕……当地时间4月18日,Meta正式发布了让人等待已久的开源大模型Llama 3,一些基准测试结果显示其是目前性能最强的开源模型之一。

据了解,Meta发布了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本(B代表数十亿,代表模型的复杂程度以及它对训练的理解程度),其中Llama 3 8B在语言(MMLU)、知识(GPQA)、编程(HumanEval)、数学(GSM-8K、MATH)等能力上评测得分大幅超过Google和Mistral所开发的同级别模型,数学、编程能力翻倍。Meta公司首席执行官马克·扎克伯格(Mark Zuckerberg)表示,最小的Llama 3基本上与最大的Llama 2一样强大。

不止于此,Meta未来还将推出超过4000亿参数的Llama 3版本。对此,英伟达高级研究经理Jim Fan说,这个还在训练中的Llama 3 400B将成为开源大模型的一个分水岭,将改变许多研究工作和创业公司的经营状况。

“公司技术说微调Llama 3可以对标PK GPT-4。”AIGC创业者席文告诉《中国经营报》记者,虽然他自己将信将疑,但是很期待。他表示,会将Llama 3应用于销售和营销、人力资源管理等2B业务领域,因为“刚需高频容易变现,也是迫在眉睫要改变的”。

功能强大的公开可用大模型

根据介绍,Llama 3的主要亮点有以下这些:基于超过15万亿token训练,相当于Llama 2数据集的7倍还多;预训练数据虽然主要以英语为主,但其中包含超30种语言的高质量非英语数据;支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;包括增强的推理和代码能力的新能力范畴;训练效率比Llama 2高3倍;带有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具等。

随后,Llama 3很快在亚马逊AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM的云平台WatsonX、微软云Azure、英伟达的NIM和Snowflake上推出,并得到AMD、AWS、戴尔、英特尔、英伟达提供的硬件平台支持。

关于Llama 3的全方位技术详解也跟着浮现。比如Llama 3采用了优化的自回归Transformer架构,这种架构能够有效提升生成文本的连贯性和相关性;结合了监督式微调(SFT)和带人类反馈的强化学习(RLHF),这种混合调优方法不仅增强了模型的帮助性,也提高了安全性,使得模型在实际应用中更加可靠和符合用户预期。此外,为了提高Llama 3模型的推理效率,Meta还采用了分组查询注意力(GQA)机制,在8192个tokens的序列上训练模型,并使用掩码确保自注意力不会跨越文档边界。

值得一提的是,与基础模型一同发布的,还有基于Llama 3的官方Web版本,名字就叫Meta AI。据Meta介绍,Llama 3将被整合到其虚拟助手Meta AI中,这是免费使用的同类产品中最先进的AI应用程序。Meta AI助手已经在Facebook、Instagram、WhatsApp和Messenger等应用中上线,随后也将迎来更新。

对于Llama 3,业界大佬对其表现点赞。OpenAI原资深研究科学家安德烈·卡帕蒂(Andrej Karpathy)认为,80亿参数的Llama 3“会非常受欢迎”,效果接近参数更多的GPT-3.5,而且需要的算力低、反应快,甚至可以在手机、电脑上本地运行。

Meta AI首席科学家、图灵奖得主Yann LeCun不仅为Llama 3的发布摇旗呐喊,并再次预告未来几个月将推出更多版本。就连特斯拉CEO马斯克也现身于评论区,用一句简洁而含蓄的“Not bad”,表达了对Llama 3的认可和期待。

研究机构Omdia人工智能首席分析师苏廉节认为,Meta公开了Llama 3训练数据集,还有一些数据安全的措施,这更加透明,且有助于提升使用者的信心。据了解,Llama 3 8B版本数据更新截至2023年3月,而70B版本则为同年12月。

Meta公布的基准测试结果显示,Llama 3 8B在MMLU、GPQA、HumanEval等测试的得分远超Google Gemma 7B和Mistral 7B Instruct;而Llama 3 70B则跻身于顶尖AI模型的行列,整体表现碾压Claude 3大杯,与Gemini 1.5 Pro相比则是互有胜负。

不止于此,扎克伯格还表示4050亿参数顶配版Llama 3将在今年晚些时候推出。 对此,JIm Fan认为即将推出的Llama 3 400B+,像是开源模型与顶尖闭源模型并驾齐驱的象征。

为开源模型扳回一城

与不开源的OpenAI相比,Meta沿着开源路线朝AGI(通用人工智能)的圣杯发起了冲锋。手握35万块GPU的扎克伯格在接受The Verge的采访时描绘了Meta的愿景——致力于打造AGI。

如今的开源模型当真是百花齐放、百家争鸣。AI写作助手创企HyperWriteAI的CEO见到Llama 3的惊人表现忍不住感慨:“我们正在步入一个新世界,一个GPT-4级别的模型开源并且可以自由访问的世界。”

在过去的一年中,整个AI圈在围绕开源或闭源的路线争论不休。马斯克亲自下场,通过开源Grok 1.0为开源路线站台。日前,百度创始人、董事长兼首席执行官李彦宏在Create 2024百度AI开发者大会上表示:“大家以前用开源觉得便宜,其实在大模型场景下,开源是最贵的。所以,开源模型会越来越落后。”

如今,Llama 3的到来,为开源模型扳回一局,但这场关于开源与闭源的辩论还远未结束。“我觉得最重要的还是应用场景,目前Meta部署得相对保守,我期待看到Meta将这个部署在更多的商业应用上。”苏廉节表示。

AI创业者刘付江告诉记者,Llama 3的发布,意味着他们不需要花钱购买OpenAI他们的API了。“相比Llama 2,Llama 3的参数规模更大,模型框架得到优化,训练数据更多,所支持语言增多,对话问答推理都有很大提升。初体验下来效果比GPT-3.5强,比4.0差一点。”他表示,将在本地部署Llama 3,帮企业做大模型的中控系统,连接工厂车间里的数字化系统、ERP系统和设备,“先试用一段时间,仍需要大量的测试”。

席文则把Llama 3的商业应用优先放在了营销上。“AI可以帮助企业更精准地定位目标市场,提高广告和营销活动的效果。”他表示,因为营销刚需高频,且容易变现。

记者注意到,用AI将营销全链条重做一遍,已是大厂共识。如果说大模型的落地,在一些领域像“拿着锤子找钉子”,那营销领域则属于“一堆钉子等锤子”,因为营销中存在大量的基础性工作,等待AI来解放。

文生图、图生图、文生视频……各种形式的AIGC,首当其冲的是制作广告素材,近一年内,大厂们相继推出了自己的AIGC工具,用于商家制作广告素材。

比如,阿里妈妈去年7月上线了“万相实验室”,今年3月阿里又上线了“绘蛙”;百度去年6月推出“擎舵”;抖音去年10月推出“即创”;京东去年12月推出“京点点”;腾讯今年1月推出“妙思”。它们左手有AI大模型,右手有客户和场景,可谓是AI营销落地的最佳“试炼场”。

需要指出的是,虽然现在Meta已经提供了Llama 3的下载方式,便于广大开发者免费使用,但该公司更倾向于用“开放”而不是“开源”一词来定义该模型。原因在于,Meta即便允许开发者用Llama 3开展学术研究或开发商业应用,但却并不像用户想象的没有任何附加条件去使用。

换句话说,Meta禁止开发者使用该模型训练其他生成式模型,并且要求“每月活跃用户超过7亿”的公司必须向它申请特殊许可,再由Meta自行决定是否授予这一许可。

(编辑:吴清 审核:李正豪 校对:颜京宁)