谷歌(GOOGL.US)、Anthropic和OpenAI齐陷“僵局” AI模型开发瓶颈如何破?
智通财经APP获悉,据知情人士透露,与OpenAI一样,谷歌(GOOGL.US)和亚马逊(AMZN.US)支持的Anthropic的大语言模型性能也进入了停滞不前的瓶颈期。三名知情人士称,即将推出的Gemini未达内部预期。此外,Anthropic已经推迟了其Claude模型的下一个版本,即3.5 Opus。公司们表示,目前仍缺乏用于训练模型的人工数据。
正处于一个里程碑关键时刻的OpenAI在9月完成了一个大型新人工智能模型的首轮训练,希望该模型能够大大超越ChatGPT背后的先前技术版本,并向超越人类的强大人工智能的目标更近一步。但据两名知情人士透露,这款内部称为“猎户座”(Orion)的模型并未达到公司预期的性能。
知情人士说,例如,截至夏末,Orion在试图回答未接受过训练的编程问题时表现不佳。总体而言,到目前为止,Orion对OpenAI现有模型的提升并不像从GPT-3.5到GPT-4的提升那么大。GPT-3.5最初是OpenAI旗舰聊天机器人的动力系统。
OpenAI并不是最近唯一遇到障碍的公司。在多年来以极快的速度推出愈加复杂的人工智能产品之后,三家领先的人工智能巨头目前却发现,为开发新模型而付出的高昂代价产生的回报正在减少。
Anthropic上个月发布了一款名为Claude 3.5 Haiku的新版本,以及Claude 3.5 Sonnet的升级版本。今年9月,OpenAI公司推出了一系列新人工智能模型,名为o1和o1-mini,可对复杂任务进行推理,并解决比以前的科学、编程和数学模型更难的问题。
但据三位知情人士透露,Alphabet旗下谷歌即将推出的Gemini软件版本未达到内部预期。与此同时,Anthropic期待已久的Claude模型3.5 Opus的发布时间表也已推迟,而且未提供具体发布日期。
这些AI巨头目前正面临着一些挑战。要找到用于构建更先进人工智能系统的新的、未开发的高质量人工训练数据来源正变得越来越困难。两名知情人士表示,Orion的编程表现不理想,部分原因是缺乏足够的编程数据进行训练。与此同时,即使是适度的提升可能也并不足以证明与制造和运营新模型相关的巨大成本具有合理性,以及达到将产品标榜为重大升级所带来的期望。
不过,这些模型仍有很大潜力可以改进。据其中一位知情人士透露,OpenAI一直在让Orion经历一个长达数月的被称为“后培训”的过程。这是公司公开发布新型人工智能软件之前的常规流程,包括纳入人类反馈以改善其回应,并改进模型与用户互动的基调等。但一位知情人士表示,Orion仍未达到OpenAI希望的可向用户发布的水平,公司也不太可能在明年年初之前推出该系统。《The Information》此前曾报道OpenAI开发新模型所面临挑战的一些细节,包括编程任务。
此外,OpenAI首席执行官萨姆·奥特曼(Sam Altman)此前曾表示,整体算力水平也是最新一轮人工智能模型浪潮需要面临的一个问题。奥特曼最近在Reddit上表示:“所有这些模型都变得相当复杂,我们无法同时推出那么多东西。”“我们还面临着许多限制和艰难的决定,即如何将我们的计算分配给许多伟大的想法。”