MiniMax刘华:基础大模型公司将只剩个位数,十万卡是少数公司的追求
国内大模型创业公司已经走出六家独角兽,即便头部已清晰,关于创业公司哪家的路线更好、未来谁能留在牌桌上的讨论仍未停止。
12月初,第一财经记者在上海见到了MiniMax副总裁刘华,他给出的判断是,基础大模型赛道将会局限在个位数的企业,其中包括大厂和创业公司,除此之外,很多人要转去做AI应用。
MiniMax是六家独角兽之一。布局上看,如今已有独角兽舍弃做视频模型,有的在B端和C端应用间做出了选择,MiniMax则涉猎较广,布局了语言、视频大模型以及面向B端和C端的产品,其中包括海螺AI、Talkie及对应的国内版产品星野。
MiniMax此前较少面对媒体,在这次一个多小时的采访中,刘华谈到创业公司商业化的思路、对o1路线的判断和现下的行业格局,就算力需求变化,他和算力提供方腾讯云北区云原生总经理田丰都认为并非所有模型训练都需要10万卡集群。
“前提是比Meta的开源模型更好”
“国内AI产业总体上没有太多泡沫。”刘华告诉记者,此前之所以行业存在一些资源浪费,是因为太多企业认为自己能做基础大模型。泡沫撇去,更好的情况将是大家认识到能做基础模型的企业不多,更多人有志于做大模型应用。
近一年间,大模型的浪潮从文本涌向多模态,除了有能力多个领域同步出击的大厂,要不要做视频大模型、要聚焦哪类应用,六家独角兽需要量力而行,其中一些已做出选择。其中,月之暗面是聚焦C端应用的代表,智谱AI对B端应用相对侧重,百川智能已决定不跟进Sora视频大模型的路线。MiniMax则同时跨进文本和视频大模型领域,应用上布局C端和B端,其中C端产品进入超180个国家和地区。据AI产品榜数据,11月AI社交产品Talkie的全球月活跃用户量2519万,在全球榜单中排第9名。
刘华告诉记者,对创业公司而言,比较好的路线是把大模型做好,并做更多B端标准化产品,C端只做少量应用。做To B和To C产品是为了让大模型技术触达更多用户,通过用户反馈知道如何改进模型,盈利问题则还要慢慢看。公司会对产品做少量推广宣传,但目前单纯以扩大用户规模的投流价值不大,这种方式获得的用户黏性差,仅30天留存率就“没法看”。
应用变现上,刘华判断,中国市场的优势在于用户规模大,国内做C端产品最终要靠流量变现,广告是一种方式,海外C端用户的付费习惯比较好,付费会员也是合适的方式。
关于B端应用大模型定制更好还是标准化更好,业内目前则存在争论。有大模型定制化厂商负责人告诉记者,定制模型推理成本更低,客户也能完全控制并调整模型。刘华的判断则是,创业公司做B端产品较好的方式是标准化。
“国内做AI定制项目快的半年,慢的一年多,如果要花一年半时间做定制化项目,说不定我们的模型迭代两个版本就能满足(要求)了,那还不如花更多时间迭代模型。”刘华解释,至于客户对数据安全的疑虑,能通过与腾讯云开创云上专区的方式保证企业数据的安全,预计国内会有更多企业接受标准化调API(接口)的方式。
基于公司商业化以及获得大厂支持两种方式,刘华认为创业公司能留在大模型赛道内并继续迭代模型的可能性还是很大。
在做应用和做大模型之间,刘华还认为,大模型玩家要提供商业化服务并形成营收,意味着要为客户提供其他厂商提供不了的服务,特别是要与开源模型拉开差距。“比开源模型更好是一个最基本的门槛,如果基础大模型做不到这一点就可以不用玩了,可以转做AI应用了。在国内做商业化一个最基本的前提就是比现在Meta的Llama模型更好,否则别人可以用Llama,为什么花钱用你的模型?这很现实。”刘华表示。
“o系列的方向能降低模型错误率”
技术路径上,大模型业内也在迭代。北京时间周五凌晨,OpenAI推出了“满血版”推理模型o1,这款在今年9月以预览版上线的模型已在AI业界掀起波澜。国内多家大模型创业厂商纷纷表态,月之暗面创始人杨植麟称o1标志着AI范式迁移,百川智能创始人王小川认为标志着范式升级。不过,o1指出AI新路径的同时,并非所有大模型厂商都在改变自身的研发范式。
“o系列模型是一个能降低模型错误率,让大模型能被严肃的生产、研发、科研、设计领域应用的重要发展方向,这与我们降低模型错误率的目标相通。”刘华告诉记者,上一代GPT系列模型的一个问题是错误率偏高,在30%左右,而要进入这些严肃领域,错误率至少要降到2%~3%。
不过,刘华认为,o系列模型仅仅是开辟了一个方向,未来可能导向一些场景,例如大模型对一个问题思考几周、几个月,来解答人类社会的重大问题。而就MiniMax而言,公司不会受其他厂商的影响轻易调整发展模式或技术路线,除了降低错误率,公司研发方向还包括做多模态、确保大模型能以较低的输入输出成本处理复杂计算。
大模型厂商技术迭代的同时,算力方也在适应大模型提出的新要求。田华告诉记者,MiniMax早期用到几千卡集群,现在要大几千卡、上万卡,后续还会有更大规模的算力需求,这对算力提供方的组网、集群运维能力提出了高要求。以网络为例,万亿参数大模型下,训练通讯占比基本能达50%,传统的网络协议容易造成拥堵,导致训练效率下降。腾讯云为此优化了星脉网络,使之能支持10万卡超大规模训练集群。
海外厂商也在布局大规模算力集群。此前,特斯拉CEO马斯克旗下的AI公司xAI初步建成了具备10万张H100 GPU算力的超级AI训练集群 Colossus,当地时间12月5日,大孟菲斯商会表示,xAI计划将Colossus算力再扩大十倍。
从1万卡到10万卡集群,田华告诉记者,除了模型本身,更多还需解决集群的网络和运维问题,并不是所有的训练厂商都需要1万卡或10万卡规模,同一个模型用10万卡的效率也不一定就大于1万卡,这并非正向叠加的过程。
刘华则告诉记者,10万卡集群目前还是美国极少数企业的追求。