CEREBRAS推快速AI晶片 挑战辉达
AI新创公司Cerebras Systems发表号称全球最快的AI推论解决方案。图/freepik
以挑战AI晶片龙头辉达为目标的AI新创公司Cerebras Systems,27日发表号称全球最快的AI推论解决方案Cerebras Inference,速度比辉达GPU快20倍,成本只有辉达GPU的五分之一。
Cerebras在自家官网发文指出,Cerebras Inference为Meta的开源大语言模型Llama3.1 8B ,每秒生成1,800个token,为Llama3.1 70B每秒生成450个token,比导入辉达GPU解决方案的超大规模云端快20倍。
价格方面Cerebras Inference采按用量付费(pay-as-you-go)模式 ,Llama 3.1 8B的每百万tokens收10美分,Llama 3.1 70B每百万tokens收60美分。Cerebras声称成本仅辉达GPU五分之一,其AI推论工作负载的性价比,较其他服务高出100倍。
Cerebras执行长费尔德曼(Andrew Feldman)指出,「我们产品的性能GPU达不到,而且精确度最高,价格最便宜。」
Cerebras创立于2015年,毫不掩饰挑战辉达市场主宰地位的野心,获ChatGpt开发商OpenAI执行长奥特曼的青睐注资。
有别于辉达、微软将晶圆切割成小晶片,Cerebras是以整片晶圆制成大型晶片,今年3月发表专为训练AI模型设计的WSE-3处理器,采用台积电5奈米制程打造。Cerebras证实有IPO(首次公开募股)计划,本月向美国证管会秘密提交招股说明书。
绘图晶片起家的辉达,靠Hopper GPU在第一波AI投资中抢得先机,占据AI晶片市场主导地位。但Cerebras、d-Matrix和Groq等规模较小的AI新秀异军突起,皆以挑战霸主辉达争抢市占为目标。Cerebras、d-Matrix与Groq另辟蹊径,投入开发更便宜、专为运行AI模型设计的晶片,Cerebras新推出的AI推论工具Cerebras Inference,就是最好的例子。
Cerebras执行长费尔德曼接受媒体访问说:「要打倒800磅大猩猩,方法是推更好的产品到市场。照我的经验,略胜一筹的产品通常会赢,我们从辉达那儿争取到重量级客户。」