戴文渊：不盲从不跟风，求索“第四范式”之路

（原标题：戴文渊：不盲从不跟风，求索“第四范式”之路）

端午节前,上海交大一位毕业生回母校,分享自己毕业至今求索真理的旅途。

这位交大毕业生叫戴文渊,当年在上海交大ACM班求学,并获得了ACM世界冠军,现在是港股上市公司第四范式的创始人兼CEO(ACM班:上海交大2002年创办的计算机科学班,旨在培养顶尖计算机科学家)。

从“ACM世界冠军”到“人工智能从业者”再到“百亿市值上市公司企业家“,戴文渊这一路经历了对自我迭代、科技求索、创业破茧的历程。他在母校给学弟学妹说:人生没有既定的路,每个人都是独特的,交大教会了他独立思考,所以他也希望年轻的学弟学妹,可以坚持自我,走出自己“非比寻常“的路。

“

ACM班带给我最宝贵的,不是书本上的知识,而是一种“不走寻常路”的精神。

要尽可能找到问题的本源和底层逻辑,不盲从权威,不盲目跟风,遵循底层科学理论。

第四范式理论让我意识到,利用人工智能发现各行业规律,帮助行业创造价值,是立即可行的。

”

以下为演讲内容,在不改变大意的情况下,进行了删减和总结:

成就“不走寻常路”的我,开启AI求索之旅

我是2002年来到上海交大,也是第一届ACM班学生,让我记忆犹新的是,ACM班成立的初衷和目标是培养世界上最优秀的计算机科学家。当时的我将信将疑,那个时候不要说培养出最优秀科学家,国内连最优秀计算机科学家写的论文都很难看到。

学了一段时间后,我发现ACM班并不是照本宣科,而是跳脱出固有的教育模式,更为重要的是给予了我们做最优秀科学家的信心。有一次,被誉为“深蓝计算机之父”的许峰雄博士来交大演讲,这颠覆了我对于“深蓝计算机一定出自美国人之手”的固有认知。

同时,ACM班更为开放、先进的教育理念更是坚定了我们“做世界最好”的信心,它把我们送到了全世界最顶级研究机构、企业,而非从始至终在学校实验室中做科研,也因此培养了一批能在顶级学术会议、期刊上发出最好论文的学生。这也是我人工智能的启蒙过程。

可以看出,ACM班带给我最宝贵的,不是书本上的知识,而是一种“不走寻常路”的精神。正是这种刻在骨子里的精神,造就了现在的我,也是促使我成为更好自己的“源动力”。

我记得当时人工智能教科书的开篇都会讲到一个理论:奥卡姆剃刀原理。核心是讲模型要做简单,比如神经网络不能超过三层,决策树不能超过五层、回归模型参数不能超过一千个等等,这显然跟现在的主流技术思路相悖。

本着严谨的科学态度,我翻阅了很多资料,找到了得出奥卡姆剃刀原理的底层科学理论——Valiant引理,简单来说,就是模型参数量/复杂度要和数据量相匹配。所以奥卡姆剃刀原理的局限在于当时的数据量不足以做出大参数量模型。

然而,因为奥卡姆剃刀原理出现在了课本上,成为了越来越多人的“固有定理”,从而忽略了底层的科学理论,直到深度学习的出现,大家才意识到奥卡姆剃刀原理的局限性。

即使是流行的热点理论也有其局限性。比如近期大家热议的Scaling Law,揭示了模型参数量和模型精度呈现指数级的关系。而根据统计学理论,二者应是线性关系。造成不同结论的原因在于现实中的数据不是均匀分布的, 如果按照正态分布区采集数据,每当要获得一个线性的效果提升,都要付出数据指数级提升的代价;如果能够更加均匀的采集数据,则有机会付出较小的代价实现模型效果提升。

时至今日,我们仍然被网上各种繁杂的信息所笼盖,作为AI从业者的我,仍旧保持着上学时对于AI求索的初心,要尽可能找到问题的本源和底层逻辑,不盲从权威,不盲目跟风,遵循底层科学理论。

“第四范式”理论让我找到了毕生求索之灯塔

早期做人工智能时,我也陷入过迷茫,人工智能到底能做什么?我曾经看过一个电影叫《人工智能》,讲述了一个小男孩最终发现自己是人工智能的故事。当我看完这部电影时,我问自己:人工智能什么时候才能达到这样的水平?难道人工智能的作用就是制造一个类人智能体吗?

直至2007年,我遇见了让我重拾信心,且坚定将人工智能作为终身事业的“第四范式理论”,亦是我从交大毕业至今,所做事情的核心方法论。

这个理论由图灵奖获得者Jim Gray在2007年《科学发展的四个范式》的演讲中提出,其将科学发展总结为四个阶段。

第一范式阶段,实验科学,人类记录实验现象,如钻木取火、摩擦起电等。

第二范式阶段,理论科学,人类开始总结理论,诠释自然现象,如牛顿运动定律等。

第三范式阶段,计算科学,人类通过计算机推演理论,模拟现象,如早期的气象预报等。

第四范式阶段,数据科学,随着数据爆发式增长以及技术演进,科学理论由计算机从海量数据中发现。

“第四范式”彻底颠覆了“找规律”的方式,此前受限于人精力、记忆力的局限,以及数据的匮乏,所以得出的理论模型都较为简单。或者说,以往的定律、原理也许都是局限下的产物。若将“牛顿三大定律”让计算机去找,在数据足够多的情况下,完全可以总结三千万条甚至更多的规律,覆盖低速、高速等不同的速度区间。Valiant引理也得到了印证。

我意识到,我的目标不是做出那个《人工智能》电影中遥不可及的智能体,而是利用“第四范式”的方法发现各行各业的规律,帮助行业创造价值,是立即可行的。

与此同时,“第四范式”也坚定了我“将模型做大”,反“奥卡姆剃刀原理”而行之的决心。如今,我们身处于数据爆发的时代,例如搜索引擎每天超过十亿次请求,我们对它总结规律,完全可以把模型参数做到千亿级。在使用了这个方法后,模型效果远远好于传统方法。以至于当我们想要进一步扩大模型参数时,学术界的数据集已经不够用了,促使着我们要去工业界找数据去实现更好的效果。

为了能尽快看到人工智能在各行各业创造出价值,我于2014年创办了名为第四范式的公司,就是希望把“将模型做大”的核心方法论让更多的人认知,并最终应用到各行各业。别人会经常问我第四范式是一家什么样的公司,我说第四范式是一家帮助其他企业实现第四范式的公司。这十年间,我们将“第四范式”核心方法论推广到了22个行业,1066个企业,完成了将近两万个行业大模型的构建。

然而,我也深知,我们做的还远远不够,希望未来能够通过我们的努力,真正将“第四范式”应用到这个时代,加速AI for Everyone时代到来。