张钹院士:大模型存在难以逾越的天花板,必须建立可解释AI理论

·GPT-4只能和数字世界打交道,我们最终必须跟物理世界打交道,这就需要机器人,也就是具身智能。张钹认为不一定要做人形机器人,不需要把硬件搞得非常复杂,他主张以一定的硬件为基础进行强化学习研究。

·全世界对大模型强大的生成能力、迁移能力、交互能力感到惊讶却无法解释,只能归结为“涌现”。为了人工智能产业的健康发展,必须将科学研究、技术创新、产业发展结合起来。要发展第三代人工智能,必须建立可解释和鲁棒的人工智能理论和方法,否则AI技术永远难以令人相信。

大语言模型存在天花板。

“通向通用人工智能的道路虽然依然艰难,但大语言模型为AI产业的发展打开一条通向通用AI宽广的道路。”1月16日,中文认知大模型企业北京智谱华章科技有限公司(以下简称“智谱AI”)举办的2024年度技术开放日上,中国科学院院士、清华大学人工智能研究院院长、清华大学计算机系教授张钹表示,大模型提供了发展通用硬件和软件的机会。

传统AI范式利用特定的算法和规则完成特定任务,生成式AI范式是基于一种称为基础模型的通用模型,通过广泛文本数据的训练,在开领域(open domain,开域)内可以生成类似于人类水平的高质量文本、图像和其他内容,通过微调等方式可适配于广泛的下游任务。生成式AI向通用AI迈出一步,第二步是AI智能体,第三步则是具身智能。张钹表示,GPT-4只能和数字世界打交道,我们最终必须跟物理世界打交道,这就需要机器人,也就是具身智能。具身智能的提出有助于构造完整的智能体,让智能体既有感知,又有思考。“不一定要做人形机器人,因为很多时候只要用手或脚就可以了,不需要把硬件搞得非常复杂。”他主张以一定的硬件为基础进行强化学习研究。

生成式AI大模型具备三大能力和一大缺点,即强大的生成能力、强大的迁移(推广)能力、强大的交互能力和幻觉。强大的语言生成能力可基于上下文和过去的对话,在开领域能够生成多样性令人惊讶的类似人类的连贯文本。强大的迁移能力可在代理任务上训练一个模型,通过细调适配到感兴趣的下游任务。强大的交互能力包括与人类的交互(人机交互)、机器之间的交互(多智能体)、与环境的交互(具身智能),通过交互在不同专业和科学的测试基准上表现出人类水平的智能。而针对幻觉,大模型有时会生成看似合理的编造或无意义的答案。

人工智能有助于推动经济增长,建筑、维护、安装等行业难以被自动化和智能化,但行政管理等白领工作或被AI替代。AI可提高大多数人类工作的质量和效率,但被AI完全替代的工作仍是少数。之所以AI还不能替代大多数工作,是因为大模型还存在难以逾越的天花板。张钹表示,大模型的所有工作都是外部提示而非主动,并且在外部提示的情况下利用概率预测完成任务,而人类的工作依靠内部意图驱动。大语言模型生成语言与人类语言生成只是行为上的相似性,而内在机制根本不同,大语言模型存在不自知、质量不可控、不可信、不鲁棒等天花板,给出不同的提示词,大模型会输出不同的回答。大模型也会产生幻觉,“不管模型多么大,幻觉这个缺点一直存在。”

他提出,要发展第三代人工智能,必须建立可解释和鲁棒的人工智能理论和方法,发展安全、可控、可信、可靠、可扩展的AI技术,推动AI的创新应用和产业化。如果不能建立可解释和鲁棒的人工智能理论,AI技术是不可靠的,AI技术永远难以令人相信。“到现在为止,这个理论还没有建立起来,这也是人工智能之所以发展缓慢和曲折的原因。理论建立不起来,是因为受到三个特定限制,过去只能在特定领域利用特定模型解决特定任务,这怎么可能建立通用理论?大模型的出现为建立这个理论提供了可能性。”

张钹表示,大模型为我们提供了发展通用硬件和软件的机会。人工智能正进入稳步发展的阶段,对各行各业有巨大影响,必须抓住机遇发展人工智能产业。但仍有大量不确定性,因为AI不可预测、不可控。全世界对大模型强大的生成能力、迁移能力、交互能力感到惊讶,却无法解释,只能归结为“涌现”。所以为了人工智能产业的健康发展,必须将科学研究、技术创新、产业发展结合起来。