微软CTO：AI大模型的“Scaling Law”还能走多远？

本文作者：李笑寅

来源：硬AI

AI时代，大语言模型（Large Language Model,LLM）横行。

早在2020年，OpenAI就曾在一篇论文中提出一个定律：Scaling law。这个定律指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。

此后，OpenAI在AI界风生水起，很多初创公司甚至科技巨头都将这一定律奉为圭臬。

随着AI技术的不断发展，越来越多的人开始对Scaling law提出质疑，一种主流的反对观点是认为这种训练逻辑可能会推动大模型沦为数据的奴仆，而离“人”越来越远。

在此背景下，7月9日，红杉资本的Pat Grady和Bill Coughran与微软CTO（首席技术官）Kevin Scott开展了一场AI主题的对谈，就微软的AI战略、与OpenAI的合作进度、大模型未来的发展方向等方面进行了探讨。

观看了访谈视频，本文将Kevin Scott的精彩观点整理如下：

1、微软的AI策略是建立一个平台、一个系统，而不是替代性技术。

2、过去20年里，人工智能领域最重要的进步都与“规模”（尤其是数据规模、算力规模）有关，我们已经将投资重点放在了扩大规模上。

3、Scaling law定律仍适用于当前业态——在扩张大模型的同时，边际效益并没有递减。

4、微软看中OpenAI的潜力在于，随着模型的扩展，OpenAI未来有望成为构建一个平台的基础。

5、数据的质量比数据的数量更重要，它能为人工智能训练算法提供模版，为未来的合作提供一个经济框架。

6、获取有价值的训练数据进行训练，然后对模型进行推理，围绕着二者将出现两种形态的商业模式，我们正在尝试AI推荐与广告相结合的商业模式。

7、下一代大模型即将问世，比之前更便宜、更强大。

以下是访谈的精华内容：