COMPUTEX展 耐能推出最新款邊緣AI伺服器

耐能推出最新款边缘AI伺服器和首款搭载边缘GPT AI晶片的嵌入式AI PC。图／耐能提供

总部位于美国圣地牙哥的人工智慧公司耐能今天于COMPUTEX 2024上宣布推出最新的边缘AI伺服器及一款内置耐能AI晶片的PC设备。

KNEO 330是耐能最新且第二款端侧GPT伺服器。首款产品KNEO 300于2023年推出，已经在制造业、金融服务和大学教育领域拥有企业客户，包括史丹佛大学和加州大学洛杉矶分校。

KNEO 330拥有48 TOPS的AI计算能力，最多可支持8个并发连接，支持LLM和Stable Diffusion。在较低的硬体条件下，其RAG精度与云端解决方案相当。KNEO 330大幅降低了小型企业的整体AI成本，降幅可达30%-40%。

与大多数云解决方案相比，KNEO 330实现了更简单的集成和分层许可权管理，极大地提高了隐私和安全性。其全面的功能包括多模态GPT的离线版本。

耐能智慧股份有限公司创办人兼执行长刘峻诚表示：「AI近期蓬勃发展，强大的AI模型的发展速度超出了许多专家的预期。平衡AI的道德伦理与盈利驱动是AI真正的挑战。诸如训练AI模型所需的电力和数据以及AI幻觉的潜在问题等担忧都是现实问题。我们相信我们的产品是解决当前GPT ESG和能耗问题的关键」。

除了 KNEO 330，耐能还推出搭载第三代 NPU 晶片 KL830的 PC设备。AI PC的时代已经来临，根据IDC报告，销量预计将从2024年的5000万台增长到2027年的超过1.67亿台，占整体个人电脑市场的60%以上。同时，Gartner机构预测，2024年全球AI个人电脑和AI智慧手机的出货量将达到2.95亿台，比2023年的2900万台增长十倍多。

KL830强大的功能和低廉的成本使得低成本AI PC成为可能，将为更广泛的消费者群体带来AI的普及和应用。KL830提供高达10eTOPS@8bit的综合计算能力(CCP)，峰值功耗仅为 2W。这款NPU将使个性化GPT成为现实。

当耐能的NPU与领先的GPU配合使用时，可将能耗降低30%，有效延长产品使用寿命。这展示了NPU在高性能但价格亲民的电竞PC领域的未来潜力。

该款晶片已经准备用于AIoT设备，KL830晶片使得定点能保持与浮点精度一致。KL830也可通过USB AI加速棒使用，使得任何设备，无论是宽频路由器、物联网摄像头还是传统电脑，都可以成为边缘AI设备。它提供了10eTOPS的计算能力，并支持许多相对低参数的大型语言模型。

专为开发者设计的KNEO平台是一个易于使用的Edge GPT开放平台。耐能通过其编译器和「Hugging Face」链接，为用户提供了友好的AI生成内容模型部署方式，用户可根据需求切换不同的Edge GPT。

耐能的Edge GPT服务（EGaaS）由开发平台、管理平台和Edge GPT库组成。Edge GPT即服务（EGaaS）使设备能够在本地处理数据，实现即时决策，无需依赖互联网或云伺服器。这种方法有效提高了速度，同时支持多模态功能，并增强了隐私和安全性。耐能全面的企业级边缘GPT解决方案可以根据每个企业的需求进行定制，为各种定制化场景训练和部署大型语言模型（LLM）。