AI用电经部尚未正式评估 揭外商资料中心年耗8亿电
人工智慧(AI)被形容为「吃电怪兽」,主掌国内产业与电力的经济部目前直言评估用电成长有难度,但一座外商资料中心一年就要耗掉8.4亿度电。(图/Freepik)
人工智慧(AI)被形容为「吃电怪兽」,对于国内用电冲击才要开始,主掌国内产业与电力的经济部,以「目前并不大」来形容国内AI用电量。但也坦承,现在确实没有企业实际使用AI数据可做推估,加上半导体业生产是营业机密, 没办法单独估算国内AI用电成长,目前尚未有评估数字。
根据国际上苏格兰数据中心公司DataVita创办人奎恩说法,一台传统伺服器的标准机柜耗电量约4瓩,而 AI伺服器机柜是其20倍。而一个资料中心内,可能有上百或上千组的伺服器及机柜,可见耗电量之可怕。
经济部能源署副署长李君礼说明,评估国内AI用电主要两个部分来 ,一个是AI晶片制造,随晶片需求增加,晶圆厂未来势必会扩厂,另外一块就是资料中心。「目前AI在台湾的用电量,并不算大。」
生成式 AI 共分为训练、微调与推论(查询服务)三阶段,台电表示, 根据微软发布的数据,参数量高达 1750 亿个的 ChatGPT模型,训练一次的用电量约 128 万度。而ChatGPT 每天要回应的提问高达约 2 亿个,消耗约 56 万度电。Google Gemini 目前每天的提问量约 4 千万个,用电量推估为 11 万度电,用电很可观。
可是李君礼强调,台湾产业发展式 AI 方向,不同于 OpenAI 的ChatGPT 或是 Google 的 Gemini 这类通用性大型语言模型,多是在既有的推论模型,使用轻量化、小型化的 AI 模型,针对产业知识再加训练,所以能源需求远比国外少很多。
若以单纯提问资讯来说,产发署官员指出,回答一个问题,生成式AI搜寻耗电大概是Google的7倍。目前辉达(NVIDA)在台北研发中心有一个「台北一号」,大概一天的用电是1.6万度,并不算多。可是大型外商资料中心,在台一座资料中心一天就要耗掉230万度 ,一年就是接近8.4亿度,耗电量就明显很多。
不过大众使用生成式 AI,例如 Chat GPT提问,资料送到美国去计算,耗的主要是美国的电。台电综合研究所资通研究室主任陈以彦表示,台湾的生成式 AI 发展以企业应用为主,主要会使用 Llama 、TAIDE 等模型,参数量以70 亿个来说,仅是ChatGPT的1750 亿个参数的0.04%,差距相当大。预估台湾企业估训练一次的用电量可控制在 10000度以内,微调一次则在 1000度以内。不管在做训练或者做推论,耗量电都远比大型语言模型少很多。
除资料中心,AI用电增长一大块会来自 AI 各式半导体元件产程需求。陈以彦指出,包含台积电在内的半导体业,2019年占台湾总用电量大概是8.4%左右,但到了2023年,已经增长到13.4% 。
可预见未来,半导体的用电量一定是持续成长,只是其中AI 晶片占制程用电多少,涉及企业营业秘密,陈以彦说外界难以窥伺,这也是AI用电难以估算的地方。未来台电会密切注意国内外 AI 技术发展,与新电费开票系统(NBS)及智慧电表读表系统(AMI)的用电数据,来做AI用电分析。
台电综合研究所会先在今年下半年或明年, 启动AI用电研究计划。陈以彦说届时就可以比较精确评估整个训练过程用电情况,例如用H100 或者用A100这样GPU(图形处理器),实际耗电量长甚么样子。
陈以彦总结台电综研所初步评估,AI短期内国内耗电不会太大。而李君礼则是强调,长期电力负载预测,一定是靠经济模型去做,现在确实没有办法特别把AI用电独立分析出来。目前来讲,也都没有一个完整的企业实际使用状况数据可以去推估。
可是李君礼提醒,AI不是只有耗能,它也可以运用在节能的服务上。像是让企业更精确地管理生产流程和运营方式,提升能源利用效率。另外,AI 技术导入在能源管理上,也有助于减少产业的电力需求。更何况,生成式 AI 软硬体业者,也都投入低能耗技术的发展,可望减缓用电的成长。
看未来台湾AI 发展能源消耗,产发署官员认为,不应朝向很耗电的巨大型或通用型的云端平台服务走,而是除发展 AI 晶片和伺服器技术外,锁定领域别的生成式 AI 应用来做,比较不耗费能源。