iKala 自嘲 GPU 窮人 簡立峰挺黃仁勳：台灣適合 AI 微服務

中华电信企业客户总经理张本元与iKala执行长程世嘉于策略投资签约记者会合影。中华电信提供

「我们是 GPU 穷人！花了半年时间才买到 NVIDIA 的 A6000 GPU 卡四片，兜起来后，每天都把它操到（满），我们最近真的很害怕电费往上涨，虽然 GPU 供给和缓，但 GPU 还是非常高价的东西。」AI新创 iKala 执行长程世嘉说。

程世嘉一番话，写实描述AI新创现在面临的挑战，还有更多的不足，包括台湾市场太小，「缺乏验证场域」，而另一大痛点在于AI GPU 迭代愈来愈快，架构也不断变化，硬体部署的机会成本也成为AI新创思考课题。

「电信业者除了有算力（资料中心）外，还有数据及平台，这样的大企业支持AI新创是方向。」前 Google 台湾区总经理简立峰简立峰目前担任 iKala 董事，而为获取更多验证场域，iKala 已经走向日韩及东南亚市场。

台湾AI新创浮上台面，近期多家「数位云端」股 Gogolook、科科科技等挂牌，中华电信领投 iKala 揭挂牌规划，更引发关注，也凸显AI新创与电信业者鱼帮水、水帮鱼的关系。

台湾20年前是PC代工大国，现在则有机会变成AI Fundry（AI制造）大国吗？简立峰表示，当年建构的PC产业，现在迎来新一波发展，而且是全面性的，过去PC时代 CPU 不是掌握在台湾手里，这次AI浪潮，不只是在AI伺服器而已，边缘端若也起来，则万物各装置都要AI，这就是过去所喊的 AIOT 时代实现。

这也是 NVIDIA 创办人黄仁勋在今年 GTC 所倡议的「NVIDIA Inference Microservice」，简称 NIM，也就是帮客户（AI产业）做服务，打造客制化AI模型，而其上是 NVIDIA 的 DGX Cloud 云端，中间靠软体工具层 NeMo 串接。

目前 NIM 已经提供20多种预训练模型，开发者可以取用并快速调整成自己需要的专属应用，缩短开发者打造AI模型时间，可以值得注意的是，这类应用多半是推论。

iKala 也看到相同的机会，简立峰认为，属于云端的大型应用，更需要跨国型企业利用全球数据去推动，但边缘端的应用，尤其是对特定场域的应用，就是台湾的机会，因为台湾比世界上任何国家都熟悉装置端的硬体开发与制造，台湾有机会实现软硬整合可能性。

而更可以观察是，业者摆脱 NVIDIA 的动机。中华电信自行采购硬体打造 IaaS（Infrastructure as a Service基础设施即服务），除了跟鸿海集团鸿佰合作采购 NVIDIA 的全套硬体方案，也跟技嘉采购 AMD 的解决方案或 Google 的 TPU，「我们会找其他伙伴做出更灵活弹性的整体解决方案出来」中华电信企业客户分公司总经理张本元说，帮客户规划一站式的资料中心，「我们正在兜，不会太久」。

另一方面，iKala 除了企业端考虑产业机密期望云地整合，并让AI在地端而非云上运作，打造完整企业解决方案， iKala 也同样提供类似 NVIDIA 的 Microservice（微服务）服务，让客户可以快速拿到「专家AI模型」，目前2年来50多位工程师已经累积超过140多个AI模型与语言模型，不仅可以辨识听懂语言，还可以理解语意。

「未来AI模型越小越厉害，」程世嘉表示，AI模型小一点，专精一点，企业应用面越大，而 iKala 累积140多个专家模型，有情绪分析或情绪侦测或行销、资料汇整，帮助客户做资料的拉管。

「未来5～10年，也许我们今天看到的 GPT4大小模型，会到企业端去，发展机会非常大，也希望台湾在边缘端运算来临时，有非常好的发展。」程世嘉说。

黄仁勋在GTC大会说明NVIDIA的Microservice微服务概念。截图NVIDIA