《科技》AI需求爆棚 NAND制程升级加速拚明年量产
TrendForce表示,AI server客户对供应商加单的情况,导致enterprise SSD合约价于2023年第四季至2024年第三季间的累积涨幅超过80%。SSD在AI发展扮演重要角色,除了在AI模型训练过程中,SSD主要负责储存模型参数,包含不断演变的权重和偏差,另一项重要应用是创建检查点(check point),以定期保存AI模型训练进度,即使训练中断也能从特定点恢复。由于上述功能都相当依赖高速传输以及写入耐用度,因此客户主要选择使用4TB/8TB TLC SSD产品,以满足严苛的训练过程需求。
TrendForce指出,SSD应用于AI inference server,可在推理过程中协助调整、优化AI模型,尤其SSD可以即时更新数据,以便微调推论模型成果。AI inference主要提供检索增强生成(RAG, Retrieval-Augmented Generation)和大型语言模型(LLM, Large Language Model)服务,而SSD可以储存RAG和LLM参考的相关文档和知识库,以生成含有更丰富资讯的回应。此外,因为有更多生成资讯是以影片或相片显示,其资料的存储量也跟着增加,因此,TLC/QLC 16TB以上等大容量SSD便成为AI inference主要采用的产品。
2024年AI server SSD需求市场除了16TB以上产品需求自第二季大幅上升,随着NVIDIA H100、H20和H200等系列产品到货,相关客户开始进一步加大TLC 4、8TB enterprise SSD订单动能。根据TrendForce预估,今年AI相关SSD采购容量将超过45EB,未来几年AI server可望推动SSD需求年增率平均超过60%,而AI SSD需求在全部NAND Flash的占比有机会自2024年的5%,上升至2025年的9%。
在供给市场面,由于inference server采用大容量SSD产品的趋势不变,供应商已开始着手加速升级制程,规画从2025年第一季起开始量产2YY/3XX层,进而量产120TB enterprise SSD产品。