斯坦福Llama3-V抄袭事件始末:套壳面壁智能“小钢炮”,作者团队公开致歉

一场斯坦福AI团队抄袭清华系开源大模型的闹剧在海外社交平台上吵得沸沸扬扬,6月3日,此事最终以作者团队向后者公开道歉收场。

5月末,一款名为“Llama3-V”的斯坦福团队多模态大模型在开源社区上火了起来,因为创始团队声称其仅用500美元成本,就能基于Llama3训练出一个SOTA开源多模态模型,不仅尺寸小(比GPT-4v小100倍),还在性能上比肩GPT-4v、Gemini Ultra、Claude Opus。

在这一宣传基调下,顶级名校背景外加模型本身的效果,很快就将Llama3-V推至聚光灯下,并使其拿下“HuggingFace Trending”(一个开源模型社区的榜单)Top 5的成绩。

就在社区还沉浸于这场小小狂欢时,陆续有网友提出质疑,指出Llama3-V的架构和代码,与一款来自中国团队的大模型几乎一模一样,即清华系和面壁智能团队联合开发的MiniCPM-Llama3-V 2.5。

一开始,Llama-3V团队表示他们只是使用了MiniCPM-Llama3-V 2.5的tokenizer(分词器),并且宣称在后者发布前就开始了这项工作,但这个解释在时间线上难以成立。同时,作者声称“引用了LLaVA-UHD作为架构”,但相较于此,该项目的具体实现与MiniCPM-Llama3-V 2.5更为相似。

随后,大量网友发布详细对比,发现两款模型几乎“共享”同一套模型结构和代码,Llama-3V只是对MiniCPM-Llama3-V 2.5进行了一些重新格式化并把一些变量重新做了命名,比如图像切片、分词器、重采样器、数据加载等变量。此外,前者还使用了与后者完全相同的分词器,包括MiniCPM-Llama3-V 2.5新定义的特殊符号。

还有网友指出,当运行Llama3-V时,作者提供的代码无法HuggingFace上的checkpoint(包含模型参数的快照或保存点)配合使用,但如果把Llama3-V模型权重中的变量名更改为MiniCPM-Llama3-V 2.5的名称后,模型就可以成功运行MiniCPM-V的代码。

并且,如果在MiniCPM-Llama3-V 2.5的checkpoint上添加一个简单的高斯噪声,就会得到一个与Llama3-V极为相似的模型。

更关键的是,MiniCPM-Llama3-V 2.5具备一个实验性功能是识别清华简,这是一种特殊且罕见的战国时期古文字。据悉,相关训练数据的采集和标注均由清华NLP实验室和面壁智能团队完成,相关数据尚未对外公开,然而Llama3-V却具有相同能力。

结合种种网友爆料,以及作者团队声称“仅用500美元成本”等信息,Llama-3V抄袭MiniCPM-Llama3-V 2.5一事几乎成为一个定论。

对此,面壁智能首席科学家刘知远在知乎上发声,表示“已经比较确信Llama3-V是对我们MiniCPM-Llama3-V 2.5套壳”。同时,他指出,开源的MiniCPM-Llama3-V 2.5是以最新的Llama3作为语言模型基座,而开源共享的基石是对开源协议的遵守,对其他贡献者的信任,对前人成果的尊重和致敬,Llama3-V团队无疑严重破坏了这一点。

面壁智能CEO李大海也在微信朋友圈发文称,“我们对这件事深表遗憾。一方面感慨这也是一种受到国际团队认可的方式,另一方面也呼吁大家共建开放、合作、有信任的社区环境。”

事实上,在种种证据陆续析出后,Llama3-V作者团队首先是删评论和删库,予以非正面回应。但在舆情发酵严重之后,终于在昨日,其中的两名作者Aksh Garg和Siddharth Sharma在X平台联合署名发表正式回应,向MiniCPM原作者道歉,并表示会将Llama3-V模型悉数撤下。

随后,斯坦福人工智能实验室主任Christopher David Manning发文批判了这一抄袭行为,谷歌DeepMind研究员Lucas Beyer则表示,有趣的是,有同样表现的MiniCPM-Llama3-V 2.5得到了太少的关注,而这似乎仅仅因为这个模型不是来自一所藤校,“我们都显得太难堪了。”他写道。