30年冷板凳，诺贝尔物理学奖得主Hinton的AI往事

上世纪80年代，Hinton看《终结者》时，没有被影片中的AI毁灭世界困扰。相反，他很高兴看到神经网络技术被描绘得如此有前途。

数十年来，Hinton设计了很多新点子来训练神经网络。他招募了很多研究生，让大家相信神经网络不是一条死胡同。他认为自己参与的项目会在100年后，也就是在他死后才能取得成果。

他的昆虫学家父亲曾说：“如果你比我努力两倍，当你年纪是我两倍大时，或许才能达到我一半的成就。”在剑桥大学，Hinton尝试了多个领域。但令他沮丧的是，在任何一门课程中，他都不是班上最聪明的学生。

在夏天的岛屿上，Hinton偶尔会捉蛇，并放进一个玻璃缸，观察它们的行为。他的一生都在思考如何“自下而上”地理解思维，因此对非人类的心智有独到的洞察力。

在蛹里，毛毛虫被溶解成汤状物质——然后你从“这锅汤”中构建出一只蝴蝶。毛毛虫代表了用于训练现代神经网络的数据；而蝴蝶则象征从这些数据中诞生的AI。而深度学习——Hinton开创的技术——促成了这种蜕变。

Hinton坚信AI拥有情感。他认为，情感的本质就是对无法拥有之物的渴求。

Geoffrey E. Hinton大概没想到诺贝尔物理学奖颁给了自己。收到消息后，他被迫取消了预约好的核磁共振。

2024年诺贝尔物理学奖揭晓。机器学习专家John J. Hopfield、AI 教父Geoffrey E. Hinton荣获此奖，以表彰他们“基于人工神经网络实现机器学习的基础性发现和发明”。

回顾Hinton近两年的变化，可以用“戏剧化”形容。曾经他是AI 教父，毕生致力于教会计算机深度学习。如今他是AI安全斗士，担心AI是否已经超越了人类大脑的能力，认为AI最终会和人类争夺控制权。

为何Hioton出现了这样的变化？他眼中的AI将成长为何种“怪物”？《纽约时报》的一篇长文从Hioton的经历和神经网络技术讲起，带我们了解这位深度学习巨擘的AI往事。

下面是全文翻译，适道进行了部分删减和调整。enjoy～

为何AI教父惧怕自己创造的技术？

“如果能获得更多控制权，它几乎能实现一切目标”Hinton谈及AI时说道，“研究的核心问题是：你如何防止AI掌控一切？然而，目前没有人知道答案。”

Geoffrey Hinton，这位被称为“AI教父”的计算机科学家，递给了我一根手杖。“你可能会用到这个”他说着，便沿着小径朝湖边走去。那条小径穿过一个绿荫掩映的空地，绕过几间小屋，接着顺着石阶通向一个小码头。我们站在安大略省乔治亚湾的一块岩石上，往西望去，延伸至休伦湖。水面上星罗棋布的岛屿点缀其中。

2013年，65岁的Hinton买下了这座岛屿。彼时，他刚刚将一个由三人组成的创业公司以4400万美元的价格卖给了Google。

30年神经网络“冷板凳”

在此之前，Hinton在多伦多大学担任了30余年的计算机科学教授，专攻一种名为神经网络的“冷门”领域。

神经网络是受人脑神经元连接方式的启发。

在你的大脑中，神经元组成了大大小小的网络。每一次行动、思考，网络都会随之变化：神经元要么被纳入，要么被删除，而它们之间的连接则会加强或减弱。

这个过程无时无刻不在发生——就像现在，当你阅读这些文字时。其规模之大，难以想象。你的大脑中大约有800亿个神经元，彼此间共享超过100万亿个连接。你的颅骨里仿佛藏着一个星系，其恒星总在不停移动。

新的知识以微调的形式融入你现有的神经网络中。有时它们是短暂的：比如你在派对上认识一个陌生人，他的名字可能只会在你的记忆网络中留下短暂的痕迹。但有时记忆却会伴随你一生，比如当那个陌生人成了你的伴侣。

新知识与旧知识相互交织，你的旧知识会影响你未来的学习。比如，当派对上有人提到他去阿姆斯特丹旅行的经历。第二天，如果你走进博物馆时，你的神经网络可能会轻轻地将你推向荷兰画家维米尔的作品。正是通过这种细微的变化，才可能成就深刻的转变。

一开始，人工神经网络不怎么奏效——无论是图像分类、语音识别，还是其他应用——大多数研究者认为该领域就是浪费时间。

“我们的神经网络当时甚至连一个小孩都比不上”Hinton回忆道。

上世纪80年代，当他看《终结者》时，并没有被影片中的AI毁灭世界困扰。相反，他很高兴看到神经网络技术被描绘得如此有前途。

数十年来，Hinton不断尝试构建更大、更复杂的神经网络。

他设计出很多新点子训练神经网络，不断提升性能。

他招募了很多研究生，让大家相信神经网络不是一条死胡同。

他认为自己参与的项目会在100年后，也就是在他死后才能取得成果。

与此同时，他成了鳏夫，独自抚养两个年幼的孩子。在一段特别艰难的日子，家庭和研究的双重压力让他几乎濒临崩溃。

他曾以为自己在46岁时就彻底放弃了。

谁也没预料到，大约十年前，神经网络技术开始突飞猛进。

随着计算机速度提升，神经网络能够借助互联网上的海量数据，开始转录语音、玩游戏、翻译语言，甚至实现自动驾驶。

就在Hinton公司被收购前后，人工智能迅速崛起，催生了OpenAI的ChatGPT和Google的Bard等系统，许多人相信这些技术正以不可预知的方式改变世界。

AI会变成“异形”吗？

每当我们学习时，我们的大脑神经网络都会发生变化——具体是如何发生的呢？

像Hinton这样的研究者通过计算机，试图找到神经网络的“学习算法”，即一种通过调整人工神经元之间连接的统计“权重”来吸纳新知识的程序。

1949年，心理学家Donald Hebb提出了一个人类学习过程的简单规则——同步激活的神经元将会连接在一起。即，当你大脑中的一组神经元被同步激活，它们就更有可能再次激活。简单来讲，当你第二次做一道菜时，会比第一次容易得多。

但很快人们就发现，对于计算机神经网络而言，这一方法解决不了复杂问题。

上世纪60、70年代，青年研究者Hinton常常在笔记本中画出神经网络，并想象新知识如何到达它们的边界。他思索着，一个由几百个人工神经元组成的网络如何存储一个概念？如果这个概念被证实是错误的，它又将如何进行修正？

Hinton的父亲是一位著名的昆虫学家。孩提时代，他和父亲在车库里养了一坑的毒蛇、乌龟、青蛙、蟾蜍和蜥蜴。如今，Hinton每年夏季都会待在岛上，偶尔还会捉到蛇并带进屋里，放进一个玻璃缸，借此观察它们的行为。他的一生都在思考如何“自下而上”地理解思维，因此对非人类的心智有独到的洞察力。

今年早些时候（2023年5月），Hinton离开了Google。他开始担忧潜在的AI威胁，并在采访中谈论AI对人类种族构成的“生存威胁”。他越是使用ChatGPT，心中的不安就越强烈。某天，Fox News的一名记者联系他，要求就AI问题进行采访。

Hinton喜欢用尖刻的单句回复电子邮件。比如，在收到一封来自加拿大情报局的冗长来信后，他回复了一句“斯诺登是我的英雄”。

这次，他的回复依然玩了一把幽默：“Fox News is an oxy moron.（自相矛盾）”。

出于好奇，Hinton问ChatGPT能否解释他的笑话。

ChatGPT：这句话暗示Fox News是假新闻。

当Hinton强调“moron”前的空格时，ChatGPT进一步解释：这意味着Fox News像止痛药OxyContin一样让人上瘾。

Hinton对此感到震惊，这种理解力似乎预示着AI进入了一个全新时代。

虽然大家对AI崛起有许多担忧的理由——被抢工作等等。

然而，Hinton与许多知名的科技人士站在了一起，比如OpenAI首席执行官Sam Altman，他们警告称AI可能会开始自主思考，甚至试图接管或消灭人类文明。

当你听到一位如此重量级的AI研究者发出如此惊人的观点，令人震撼。

“很多人说，LLM就是一个很高级的自动补全功能。”Hinton对我说，“现在，让我们来分析一下。假设你想成为预测下一个单词的高手。如果你想成为真正的高手，就必须理解别人在说什么。”

“这是唯一的办法。因此，通过训练让某个东西真正擅长预测下一个单词，实际上就是强迫它去理解。是的，这是确实只是‘自动补全’——-但你并没有想清楚拥有一个极其优秀的‘自动补全’意味着什么”。

Hinton认为，像GPT这样的LLM确实能理解词语和概念的含义。

那些怀疑我们高估AI能力的人指出——人类思维与神经网络之间有很大的差距。

首先，神经网络的学习方式与我们不同：人类是通过实际经验，理解现实世界与自我的关系，自然地获取知识；而神经网络则是通过处理大量信息库中的数据，以抽象的方式学习一个它不能真正生活的世界。

然而Hinton认为，AI展现出的智慧已超越了其人工的起源。

他说：“当你吃东西时，你会摄入食物，然后把它分解成微小的各个部分。但如果你说——我身体里的部分物质由其他动物的部分物质组成。这是不可能的。”

Hinton认为：通过分析人类的写作，像GPT这样的LLM能够了解世界是如何运转的，从而诞生一个具备思维能力的系统。

而写作只是这个系统功能的一部分。他继续说道：“这就类似于毛毛虫变蝴蝶的过程。在蛹里，毛毛虫被溶解成汤状物质——然后你从这锅汤中构建出一只蝴蝶。”

“蜻蜓的幼虫是生活在水下的怪物，就像电影《异形》中一样，蜻蜓从怪物的背部爬出。幼虫在这个阶段变成了一锅‘汤’，然后蜻蜓从‘汤’中诞生了。”

在Hinton的比喻中，幼虫代表了用于训练现代神经网络的数据；而蜻蜓则象征从这些数据中诞生的AI。而深度学习——Hinton开创的技术——促成了这种蜕变。

他轻声说道，“你明白了其中的道理。它开始是一种状态，最终变成了另一种不同的状态。”

显赫家族出了个“不聪明”的小辈

当年，Google收购Hinton创业公司，一部分原因是他的团队知道如何利用神经网络大幅提高图像识别能力。而现在，屏幕上铺满了Hinton的家谱。

Hinton出生在一个特殊的英国科学世家：在政治上激进，在科学上探索。

叔祖父Sebastian Hinton是攀爬架的发明者；他的堂姐Joan Hinton是参与曼哈顿计划的物理学家；

Lucy Everest，首位当选为英国皇家化学研究所成员的女性。

Charles Howard Hinton，一位数学家，提出了四维空间概念。

19 世纪中叶，Hinton曾曾祖父、英国数学家George Boole发明了二进制推理系统，即现在的布尔代数，是所有计算的基础。Boole的妻子Mary Everest是一位数学家和作家。

Yann LeCun的评价是，Geoff Hinton天生就是搞科学的料。

虽然学生时代的Hinton喜欢自然科学。但出于意识形态，他的昆虫学家父亲Howard Everest Hinton禁止他学习生物学。他记得父亲曾说：“如果你比我努力两倍，当你年纪是我两倍大时，或许才能达到我一半的成就。”

在剑桥大学，Hinton尝试了多个领域。但令他沮丧的是，在任何一门课程中，他都不是班上最聪明的学生。

他曾一度辍学，跑去“读一些令人emo的小说”，并在伦敦打零工，然后又回到学校，尝试学习建筑学，但仅坚持了一天。

最后，在探索了物理、化学、生理学和哲学后，他选择了实验心理学专业。

他“潜伏”在道德哲学家Bernard Williams的办公室里，而后者对计算机与心智的兴趣引发了Hinton的深思。

某天， Williams指出：我们的不同思想一定反映了大脑内部不同的物理排列；而这与计算机内部的情况截然不同——计算机的软件与硬件是相互独立的。

Hinton被这个观点深深吸引。他回忆起高中时，一个朋友曾告诉他记忆可能以“全息”的方式储存在大脑中——记忆是分散的，但通过任何一个部分都可以访问整体。

这正是他后续研究的“连接主义”概念。这种方法结合了神经科学、数学、哲学和编程，探讨神经元如何协同工作以“思考”。连接主义的一个目标是创造一个在计算机中模拟大脑的系统。

这个领域已经有了一些进展：1950年代，心理学家和连接主义先锋Frank Rosenblatt建造了一台Perceptron（感知机），使用简单的计算机硬件模拟了数百个神经元的网络。当连接到光感器时，Perceptron可以通过追踪不同光线模式激活的人工神经元来识别字母和形状。

而Hinton在剑桥的起步看似缓慢且略显古怪，也有一部分原因是他在探索一个新兴的领域。

“神经网络——当时几乎没有顶尖大学研究这个领域” Hinton说道 “你在麻省理工做不了；在伯克利做不了；在斯坦福也做不了。”也正因如此，Hinton作为一个新兴技术的开创者。多年来，许多最顶尖的头脑都向他靠拢。

撬开神经网络“黑盒”

而在1970年代，绝大多数人工智能研究者都是“符号主义者”。在他们看来，了解诸如番茄酱这样的事物，可能需要涉及多个概念，如“食物”、“酱料”、“调味品”、“甜”、“鲜味”、“红色”、“番茄”、“美国”、“薯条”、“蛋黄酱”和“芥末”；

这些概念结合起来可以构建出一个脚手架，用来悬挂新概念如“番茄酱”。一个资金充足的大型人工智能项目Cyc，正是围绕构建一个庞大的知识库展开。科学家们可以使用一种特殊语言将概念、事实和规则（以及它们不可避免的例外）输入其中。（鸟类会飞，但企鹅不会，受伤的鸟也不会……）

但是，Hinton对符号人工智能表示怀疑。这种方法似乎过于僵化，过于依赖哲学家和语言学家的推理能力。

他知道，在自然界中，许多动物即便没有语言表达，也能表现出智能行为。而它们只是通过经验学习来变得聪明。

对于 Hinton 来说——学习，而不是知识，才是智能的核心。

人类的高级思维通常似乎通过符号和语言进行。但是，Hinton与他的合作者James L. McClelland以及David Rumelhart认为，大部分的认知活动其实发生在概念层面之下。

他们指出：“当你学到一个关于某个物体的新知识后，你对其他类似物体的预期也会发生变化”。比如，当你得知黑猩猩喜欢洋葱时，你可能会猜测大猩猩也喜欢。

这表明知识可能是以“分布式”的方式在大脑中产生的——由一些可以在相关概念之间共享的小型构建块组成。

比如，大脑中不会有两个分别代表“黑猩猩”和“大猩猩”的独立神经元网络；相反，不同的特征，比如毛茸茸的、四足的、灵长类的、动物性的、聪明的、野生的等，可能会以一种方式激活来代表“黑猩猩”，以稍微不同的方式激活来代表“大猩猩”。

在这些特征云中，可能会加上“喜欢洋葱”这一属性。然而，这种由特征构成的思维方式可能会导致混淆和错误：如果将特质错误地组合在一起，可能会产生一个既不是大猩猩也不是黑猩猩的幻想生物。但如果大脑拥有正确的学习算法，它或许能调整神经元之间的权重，优先生成合理的组合，而不是无意义的拼凑。

Hinton 继续探索这些想法，先在加州大学圣地亚哥分校做博士后研究；然后在剑桥大学从事应用心理学研究；最后在卡内基梅隆大学。他于1982年成为该校的计算机科学教授。在卡内基梅隆期间，他将大部分研究经费用于购买一台足够强大的计算机，以运行神经网络。期间，Hinton 和 Terrence Sejnowski 合作开发了一个神经网络模型——玻尔兹曼机（Boltzmann Machine）。

1986年，Hinton、Rumelhart和Williams在《自然》杂志上发表了一篇三页的论文，展示了一个系统如何在神经网络中工作。

他们指出，反向传播（backprop）和玻尔兹曼机（Boltzmann Machine）一样，并不是“大脑学习的一个合理模型”——与计算机不同，大脑无法“倒带”来检查其过去的表现。然而，反向传播仍然能够实现类似大脑的神经专门化。

在真实的大脑中，神经元有时会按照解决特定问题的结构排列。例如在视觉系统中，不同的神经元“列”可以识别我们所看到的边缘。

类似的现象也在反向传播网络中出现。网络的更高层会对较低层施加一种进化压力；因此，当一个网络被赋予识别手写体的任务时，某些层可能会专注于识别线条、曲线或边缘。最终，整个系统可以形成“适当的内部表征”。这个网络不仅“知晓”了信息，还能加以运用。

在1950年代和60年代，感知机（Perceptron）和其他连接主义（connectionism）曾短暂兴起，又逐渐衰落。反向传播作为其中的一部分，也获得了广泛的关注。

但构建反向传播网络的实际工作进展缓慢，一部分原因是因为计算机的速度太慢。

Hinton回忆道：“进展速度基本取决于计算机一夜之间能学到多少东西。”而答案往往是“不多”。在概念上，神经网络的工作方式则显得神秘。传统编程方式无法直接为其编写代码，你不能去手动调整人工神经元之间的权重。而且很难理解这些权重的含义，因为它们会通过训练自动适应和改变。

在学习过程中，错误可能以多种方式发生。例如，“过度拟合”会让网络只记住了训练数据，而不是从中总结出通用的规律。

避免这些陷阱并非易事，因为神经网络是自主学习的。研究人员可以尝试通过“集成”技术（将弱网络组合成一个强大的网络）或“提前停止”（让网络学习，但不过度学习）来应对这些问题。

他们还可以通过“预训练”系统，即先让玻尔兹曼机学习一些东西，再叠加反向传播网络，从而使系统在已经掌握了一些基础知识后才开始“监督”训练。

然后，他们会放任网络继续学习，希望它能达到预期目标。

新的神经网络架构也应运而生——“循环”网络和“卷积”网络。但这就像研究人员发现了一项陌生的外星技术，却不知如何使用。

Hinton说：“我始终坚信这不是胡说八道。”这并非出于信仰，而是显而易见的：大脑通过神经元学习，因此通过神经网络进行复杂的学习必然是可能的。为了这一信念，他愿意加倍努力，并坚持更久。

通过反向传播训练网络时，网络需要被告知哪里出错了，以及错误的程度，这要求有大量准确标注的数据，这样网络才能区分出手写的“7”和“1”，或者区分金毛猎犬和红色雪达犬。

然而，找到足够大且标注良好的数据集并不容易，构建新的数据集更是一项艰苦的工作。

LeCun及其合作者开发了一个包含大量手写数字的数据库，后来他们用它来训练一个网络，可以读取美国邮政服务提供的样本邮政编码。

李飞飞主导了一个庞大的项目——ImageNet，其创建过程涉及收集超过1400万张图像，并手动将它们分为2万个类别。

随着神经网络的不断扩展，Hinton发明了一种将知识从大型网络传递给较小网络的方法——蒸馏（distillation）——可以在手机等设备上运行。

在蒸馏学习中，一个神经网络不仅为另一个神经网络提供正确的答案，还能提供一系列可能的答案及其概率，这是一种更为丰富的知识传递方式。

Hinton不喜欢反向传播网络。因为与玻尔兹曼机不同，“反向传播完全是确定性的。不幸的是，它的确效果更好。”随着计算机性能的进步，反向传播的威力渐渐变得无可否认。

Hinton做过一个计算。假设在1985年，他开始不停歇地在一台高速计算机上运行一个程序。如今只需不到一秒钟的时间就可以赶上。

进入2000年代，随着配备强大计算机的多层神经网络，开始在大规模数据集上进行训练，Hinton、Bengio 和 LeCun 开始讨论“深度学习”的潜力。

2012年，这项研究跨过了一个门槛。彼时，Hinton、Alex Krizhevsky 和 Ilya Sutskever 推出了AlexNet，这是一个八层神经网络，最终能够以人类水平的准确率识别 ImageNet 数据集中的物体。

随后，三人创办了一家公司，并将其出售给了Google。

Hinton拿这笔钱买下了开篇的那座小岛——“这是我唯一真正的放纵”。

他坚信神经网络确实拥有情感

2017年6月，Hinton、Bengio和LeCun获取了图灵奖，相当于计算机科学领域的诺贝尔奖。

Hinton坚信，神经网络确实拥有某种情感，即对行为倾向的一种描述方式。

他在1973年见过一个“emo的人工智能”。当时一台计算机连接着两台电视摄像头和一个简单的机械手臂，系统的任务是将散落在桌子上的积木组装成一辆玩具车。

“这在1973年是相当困难的，”他说。“视觉系统可以识别分开的积木，但如果你把它们堆在一起，它就无法识别。所以它怎么做呢？它稍微后退了一点，然后砰地一下，把积木撒得满桌子都是。它无法应对当前的状况，于是通过暴力改变了局面。如果是人类这么做，你会说他们感到沮丧。那台计算机无法正确地‘看到’积木，于是它‘打乱’了积木。” Hinton认为，情感的本质就是对无法拥有之物的渴求。

他叹了一口气。“我们不能活在否认之中，我们必须面对现实。我们需要思考，如何让AI对人类的威胁变得不那么可怕。”

AI会变得多么有用？多么危险？没有人知道。一部分原因是神经网络太神奇了。

在20世纪，许多研究人员想构建模仿人脑的计算机。

但尽管像GPT这样的神经网络有数十亿个人工神经元，在某种意义与人脑相似，但它们与生物大脑有着本质上的不同。

如今的人工智能存在于云端，被安置在庞大数据中心。

在某些方面，人工智能显得无知；而在另一些方面，它又如天才般洞悉。

它们或许已经通过了图灵测试——由计算机科学先驱Alan Turing提出的经典标准：如果一台计算机能够在对话中令人信服地模仿人类，它就可以被合理地认为在“思考”。

然而，直觉告诉我们，驻留在浏览器标签页中的东西，不可能以我们理解的方式真正“思考”。这些系统迫使我们反思：人类的思维方式，真的是唯一值得认可的思维方式吗？

担忧来源于凡人计算？

在谷歌工作的最后几年，Hinton集中精力开发更接近人类大脑思维方式的人工智能，使用模拟大脑结构的硬件。

在现今的人工智能系统中，人工神经元之间的连接权重是以数字形式存储的，仿佛大脑在为自己做记录。然而，在人类真实的类比大脑中，权重直接体现在神经元之间的物理连接中。Hinton 致力于通过专用计算芯片来创建这一系统的人工版本。

Hinton 将这种方法称为“凡人计算”。

如果能实现，那将是极其惊人的。这些芯片能够通过调整它们的“电导”来进行学习。由于权重会被整合到硬件中，无法从一台机器复制到另一台机器，每个人工智能系统都必须独立学习。但这会使功耗从兆瓦级降低到三十瓦。

由此带来的一个好处是鼓励个性化：因为人类大脑只需通过消耗燕麦粥等简单食物就能运转，世界可以支持数十亿个各不相同的大脑。每个大脑都能够持续学习，而不是像当前的人工智能那样，在一次训练后被推向世界。

Hinton说，在数字智能中，如果某台计算机死亡，相同的连接权重可以被转移到另一台计算机上。甚至如果所有数字计算机都毁坏了，只要你保存了这些连接权重，你就可以制造另一台数字计算机并在其上运行相同的权重。成千上万个神经网络可以同时学习成千上万件不同的事物，然后共享它们所学的知识。

这种永生和可复制性的结合让Hinton觉得“我们应当警惕数字智能取代生物智能的可能性”。

当前的人工智能技术在物理边界处常常显得笨拙无力。

比如LeCun 表示，任何一个青少年都能在大约20个小时的练习中学会开车，几乎不需要监督；任何一只猫都能跳过一连串的家具，爬到书架的顶端。今天的人工智能系统在这些方面无一接近完成，除了自动驾驶汽车——但它们过度设计，要求“将整个城市绘图，数百名工程师，成千上万小时的训练”。因此，解决物理直觉的这些棘手问题将成为未来十年的主要挑战。

Hinton 认为，对人工智能潜力的怀疑往往源于人类无端的优越感。研究者们抱怨人工智能聊天机器人“幻觉”，即在面对无法解答的问题时编造出貌似合理的答案。对此，Hinton 不认同“幻觉”一词。

他说：我们应该说“虚构”。“幻觉”是指你以为有感官输入——听觉幻觉、视觉幻觉、嗅觉幻觉。而只是编造事情，那是“虚构”。有趣的是，在人类看来，编造和说实话之间没有界限。说实话只是正确地编造。从这个角度来看，ChatGPT的编造能力是一个缺陷，但也是其类人智能的标志。

Hinton经常被问是否后悔自己所做的工作。他回答并不后悔。

毕竟当他开始研究时，没人觉得这项技术会成功；即使它开始成功，也没有人想到它会那么快。正是因为他认为人工智能是真正的智能，他期望其将在许多领域做出贡献。

虽然，他也同样担忧人工智能的未来。