辉达×联发科 打响AI晶片价格战

大型语言模型预估训练成本比较

因应「低成本、高效能运行AI」趋势,辉达携手联发科推出迷你型AI超级电脑Project DIGITS,撷发科技也拚打造经济高效ASIC/SoC。图为撷发科技董事长杨健盟。图/撷发科技提供

AI技术公司DeepSeek发表最新大语言模型DeepSeek 3.0,为业界投下震撼弹,低成本的训练模式,将AI模型竞争带入价格殊死战;AI晶片预估也将感受到锱铢必较的成本压力。因应该趋势,辉达开第一枪,携手联发科推出迷你型AI超级电脑Project DIGITS,撷发科技以打造经济高效ASIC/SoC为目标,以最低规格晶片运行AI应用服务。

在多项基准测试中,DeepSeek 3.0展现强大的能力,此外,仅使用2,048张辉达H800显卡,耗费278万GPU小时,总成本仅为557万美元;相较之下,Meta的Llama 3.1使用更先进的H100显卡,训练成本超过数亿美元。

显著的成本优势使其服务价格更是具有吸引力,输入每百万Token之费用仅为人民币0.1至1元,输出费用为人民币2元,相较GPT-4o的输入5美元及输出15美元,成本低至其10%、甚至1%。

撷发科技董事长杨健盟认为,在DeepSeek 3.0、辉达迷你型AI超级电脑推出后,将会加速市场往低功耗、高效能晶片发展;伴随晶片制造、AI资料中心运行皆消耗相当多资源,未来相关业者将想方设法降低各环节能耗。

他透露,撷发科技能与众多IC设计大厂如高通、联发科合作,即是看上公司类CUDA之AI软体设计服务,能够在不改变晶片设计情况下,将原先仅能运行五个模型之AI晶片、增加至十个,意谓着同样功耗下能有更高效能。

2024年甫有业者推出自主研发AI解决方案,采SSD、要价约百万元,2025年辉达即携手联发科推出仅10万元、能处里更多参数的迷你版超级电脑,足见「低成本、高效能运行AI」蔚为趋势。

杨健盟分析,Project DIGITS透过Grace Blackwell架构,运作Linux之NVIDIA DGX之作业系统,未来还可衔接NVIDIA DGX Cloud、加速云与资料中心之基础设施;软体、硬体双管齐下,将会是未来IC设计业者发展方向。

撷发也积极朝该方向进行努力,除ASIC委托设计服务外,亦提供AI赋能软体平台,使客户轻易搭上AI成长列车。杨健盟表示,登兴柜后研发量能更完备,2025年正式起飞、迈向高速成长。