国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身To
西风 发自 凹非寺量子位 | 公众号 QbitAI国产大模型首次在公开榜单上超过GPT-4o!
就在刚刚,“大模型六小强”之一的零一万物正式对外发布新旗舰模型——Yi-Lightning(闪电)。
在大模型竞技场(Chatbot Arena)上,Yi-Lightning性能直冲总榜单并列第6,数学分榜并列第3,代码等其它分榜也名列前茅。
总成绩几乎与马斯克最新xAI大模型Grok-2-08-13持平,超越GPT-4o-2024-05-13、GPT-4o-mini-2024-07-18、Claude 3.5 Sonnet等顶流。
[road.huatonglt666.com)
同时,国内清华系大模型公司智谱AI的GLM-4-Plus也杀进了总榜,位居第9位。
该榜单结果来自全球累积超千万次的人类用户盲测投票。
前段时间大模型竞技场还刚刚更新了规则,新榜单对AI回答的长度和风格等特征做了降权处理,分数更能反映模型真正解决问题的能力。
这次Yi-Lightning杀出重围,Lmsys团队特意发帖子,称这是竞技场上的大新闻:
[odre.wfck.net)
大模型竞技场总榜第六、国产第一
细看大模型竞技场分类榜上的“赛况”,Yi-Lightning各项能力都排在前头。
在中文能力上,Yi-Lightning和GLM-4-Plus两个国产大模型都名列前位。
Yi-Lightning跃居并列第二,和o1-mini相差无几。
[james.kurayoshi-tiara.net)
数学能力,Yi-Lightning和Gemini-1.5-Pro-002并列第3,仅次于o1-preview、o1-mini。
[npp.1pul.com)
代码能力Yi-Lightning排名并列第4。
[jet.coco-job.com)
另外在Hard Prompts和Longer Query分榜,Yi-Lightning也都排在第4位。
[jet.gzhdxm.com)
[zmoq.zuochenxue.com)
最后同样值得关注的是,竞技场新功能风格控制过滤,确保分数反映模型真正解决问题的能力,而不是用漂亮的格式、增加回答长度。
在对长度和风格等特征做了降权处理后,所有模型分数均有下降,Yi-Lightning排名变化不大,整体还与GPT-4o、Grok-2同一梯队。
[odre.qingf.net)
发布会上,零一万物创始人兼CEO李开复博士展示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。
相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。
像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:
[rain.ztw9.com)
而且用词更精准,更具文学色彩:
[odre.zizhu000.com)
那么Yi-Lightning是如何做到的?好用还得极速
Yi-Lightning采用MoE混合专家模型架构。
底层技术上,Yi-Lightning在以下方面进行了提升。
[zmoq.mobile1000.net)
首先是优化混合注意力机制(Hybrid Attention),只在模型的部分层次中将传统的全注意力(Full Attention)替换为滑动窗口注意力(Sliding Window Attention)。
由此以来,模型在保证处理长序列数据高性能表现的同时,还能大大降低推理成本。
Yi-Lightning还引入了跨层注意力(Cross-Layer Attention, CLA),允许模型在不同的层次之间共享键(Key)和值(Value)头,减少对存储需求。
这使得Yi-Lightning能在不同层次之间更有效地共享信息。
总的来说,KV cache缩小了2-4倍,同时将计算的复杂度从O(L²)降至O(L)。
其次,Yi-Lightning还采用[rain.r29c.com)了动态Top-P路由机制。
也就是说,Yi-Lightning可以根据任务的[zmoq.ziyuesh.com)难度动态自动选择最合适的专家网络组合——训练过程中会激活所有专家网络,[jaw.okazakihome.net)使模型能学习到所有专家知识;而推理阶段,根据任务的难度,模型[james.inevitable-law.com)会选择性激活更匹配的专家网络。
另外,之前有一些传言称国内大模型“六小强”,有[job.kq-coat.com)一些已经不做预训练了,李开复博士这次在发布会上直接“辟谣”:零一万物绝不放弃预训练[rain.b9h7.com)。
而且在模型预训练阶段,团队还积累了丰富的多阶段训练方法,将整个训练分为两块,一[zmoq.sphz.net)块做好以后就把它固定起来,然后在这个固定的模型上再做后段训练。
训练前期,更注重[zmoq.bbmxx.com)数据多样性,使得Yi-Lightning尽可能学习不同的知识;训练后期更重内容更丰[rain.wdp1.com)富、知识性更强的数据。
同时团队还在不同阶段采用不同的batch size和LR [jaw.smjdd.top)schedule保证训练速度和稳定性。李开复博士还表示,零一万物开发模型讲究“模基[jaw.aojing.cc)共建”,也就是共建模型和基础架构。模型的训练、服务、推理,与底层的AIInf[road.lovecli.com)ra架构和模型结构必须高度适配。
这样做的目的,不仅是让模型更好,[odre.dealtoolland.com)而且让它在推理的时候能够更便宜。
再加上以上种种抬升“性价比”的技术加持,所以Y[jaw.y87558.com)i-Lightning这次也是打到了白菜价——
0.99元每1M token[odre.maytrue.net)
在中文等方面,Yi-Lightning比肩OpenAI的o1-mini,o1-m[jaw.idena.top)ini的定价是每百万输入3美元,每百万输出12美元。Yi-Lightning[rain.ftm2006.com)每百万token只需0.99RMB也是打到了骨折。但李开复博士表示,即便这[zmoq.nana1981.com)样也:不亏钱。
[road.senseeg.com)
除了发布新模型,零一万物这次还首发了AI2.0数字人方案。