Yann LeCun舌战参议院：捍卫Llama开源大模型

文：城主

前言

近日，AI三巨头之一的杨立昆Yann LeCun在参议院接受了质询，议员们的问题基本都围绕着Llama大模型是否应该开源展开。Yann LeCun给予了有理有据的回应。

Llama对于AI学界和企业界的重要性不言而喻，作为当今世界上毫无疑问排名第一的开源LLM大模型，Llama2已经形成了一个很好的发展社区，而且一切才刚开始。很多的垂直生态和衍生模型都基于Llama2火热开展中。虽然吃瓜群众都比较喜欢喷Meta，但在AI开源贡献上，城主认为全世界都是要感谢Meta。

而作为Meta AI的扛把子，杨立昆面对面的接受参议院议员询问，捍卫Llama顶尖大模型开源对人类社会的正当性和必要性，这是让人尊敬的。

喜欢看视频的读者以下是传送门：

【LeCun舌战参议院实录：捍卫Llama开源大模型【LeCun个人Cut】-哔哩哔哩】 https://b23.tv/Tk8B23b

=以下是本城根据谈话内容重写的全文=

华纳主席、卢比奥副主席以及尊敬的委员会成员们，感谢您们给予我今天这个机会，来到这里，和您们探讨关于人工智能的重要问题。我叫Yann LeCun 杨立昆，目前是纽约大学计算机科学和数据科学的教授，同时也是Meta的首席AI科学家，以及Meta基础人工智能研究实验室的联合创始人。在Meta，我的工作重点是人工智能研究、发展战略和科学领导。

自从我在20世纪80年代开始我的研究生生涯以来，人工智能取得了突飞猛进的发展。今天，我们正在见证生成式人工智能，特别是大型语言模型（LLM）的快速发展。这些系统通过自我监督学习进行训练，简而言之，它们被训练来填补空白。在这个过程中，这些AI模型学会了理解文本或图像，包括多种语言的含义、风格和语法。然后，这些内部表示可以应用于各种下游任务，例如翻译、主题分类等。它们还能用于预测文本中的下一个单词，从而使LLM能够回答问题、撰写论文并编写代码。我们不能低估这些模型所带来的深远潜在机会。

人工智能的发展具有微处理器的发明、个人电脑、互联网和移动设备等基础性技术的影响力。就像所有基础技术一样，人工智能将具有多种用途，而且，人们会将其用于正面或负面的目的。随着人工智能系统的不断发展，我想强调两个关键问题：第一个是安全性，第二个是可访问性。

解决这两个问题的一种方法是公开共享当前的技术和科学信息。科学论文、代码的自由交换以及AI训练模型的公开共享使美国在科学技术领域保持领先地位。这个理念并非新颖，很久以前就有了。开源技术推动了我们现在视为基础设施的系统，例如互联网和移动通信网络，取得了快速进步。

这并不意味着每个模型都可以或应该开放。专有模型和开源模型都有其作用，但开源基础模型应该是构建活力四射的生态系统的基石。开源模型创建了行业标准，就像90年代中期的互联网模型一样。通过这种协作努力，AI技术将更快地发展，变得更加可靠、更加安全。

开源还为企业和研究人员提供了他们无法自行构建的工具，这有助于创造大量的社会和经济机会。换句话说，开源实现了对访问的民主化。它让更多的人和企业有能力利用最先进的技术，并弥补潜在的弱点。这也有助于促进民主价值观和制度，减少社会差距并改善竞争。

我们希望确保美国和美国公司，以及其他民主国家在人工智能开发方面领先于我们的竞争对手，以便在这里开发基础模型，并代表和分享我们的价值观。通过开源当前的人工智能工具，我们可以比竞争对手更快地发展我们的研发生态系统。随着人工智能技术的进步，各国政府，特别是民主国家，有迫切的需要共同努力，制定共同的人工智能标准和治理模式。

这是一个具有价值的领域，我们欢迎与监管机构合作，制定适当的透明度要求、红队标准和安全缓解措施，以帮助确保这些行为准则、标准和保护措施在世界各地保持一致。白宫的自愿承诺是确保负责任保护措施的关键一步，并为其他政府树立了榜样。美国国会和白宫的持续领导对于确保社会能够从人工智能创新中获益，同时在保护权利和自由之间取得适当平衡，维护国家安全利益并减轻出现的风险，都非常重要。

最后，我要感谢华纳主席、副主席卢比奥和委员会的各位成员，感谢您们的领导。归根结底，我们的任务是与您们、与国会、与其他国家以及与其他公司合作，以安全、可靠且符合我们国家安全利益的方式推动创新和进步。谢谢您，我期待您的提问。

我们确实对此投入了深思熟虑。我认为，思考这个问题的最佳方式是将迄今为止已发布的人工智能系统视为基础设施。这些系统本身并不特别有用，为了发挥作用，它们需要针对特定的垂直应用程序进行定制。一个很好的例子就是开源的互联网基础设施。最初，它并不是开源的，而是为了商业目的而创建的。后来，因为开源平台更安全、更容易定制、更可靠，并具有各种优势，所以逐渐流行起来。

人工智能将成为一个通用平台，由于其通用性，如果我们希望它成为可以构建整个生态系统的平台，就需要实行开源。我们需要在这种模式下工作，因为这是尽可能快地取得进展的最佳方式。我非常赞同丁教授的观点，事实上，在美国，我们非常擅长抓住机会，当新的创新或科学进展出现时，它会很快扩散到本地产业中。这就是硅谷能够成为硅谷的原因。信息在那里流动得非常快，而其他智力上生态系统较为孤立的国家不会产生同样的效果。因此，拥有开放的平台对我们有利。

我对有关立法的细节不甚了解。当然，在基本原则上，这些都符合我个人和META公司的想法。我很愿意帮助您与公司内负责立法事务的相关人员取得联系。

听到您对这些原则的认同，是一个良好的开端，我们会继续跟进。目前，美国智能领域对人工智能的使用提出了许多疑问，首先是问责制的问题。如果人工智能要为智能界的监视决策提供信息，我想问的是，当一个美国人被监视并确定违法时，应由谁负责？

参议员，这已超出了我的专业知识范围，我并非律师或立法者。在优先事项方面，隐私和安全始终是我们的首要任务，这些原则绝对值得我们遵循，我们会尽力执行。

需要明确的一点是，当前的人工智能技术，如大型语言模型，是基于公共数据和公开可用数据进行训练的，而非私人用户数据。因此，不存在任何形式的侵犯隐私的可能性。您强调了问责制的重要性，以及制定人工智能行业应遵循的指导方针，这与您的提问密切相关。感谢您的提问。

一般而言，使机器达到智能的问题要比人们最初意识到的复杂得多。人工智能的发展历程就是一系列新思想的诞生，人们曾认为这些新思想会引领我们创造出与人类一样智能的机器。但一次又一次，我们发现答案都是否定的。这些新思想解决了许多问题，但人类水平的智能仍然遥不可及，至今仍是如此。因此，尽管我们有了极为强大、流畅且看似能够掌握语言的系统，至少与人类相当，但这些系统距离真正的人类智能还有很长的路要走。

现在，直接回答您的问题，我们之所以在过去十年里频繁听到人工智能，主要原因是一种名为深度学习的新技术的出现。这种技术使得机器不再是直接编程，而是针对特定任务进行训练。这一方法在相对狭窄的任务上取得了极大的成功，我们可以训练机器达到超人的表现。但至今为止，我们还没有办法像训练人类或动物一样有效地训练机器。这就是我们至今仍然没有自动驾驶汽车和能够清理餐桌、装满洗碗机的家用机器人的原因。在将系统投入实际使用之前，还有很多道德和其他问题需要解决。

您认为META的人工智能和信任安全团队，或者任何人工智能开发团队，是否有能力真正了解潜在的风险和收益，从而做出是否应该开发某一系统，将其投入实际使用或开放给公众的决定？

参议员，感谢您的提问。我可以简要描述一下我们在开发Llama和Llama2系统时的过程。首先，Llama系统并没有完全开源。开源包含两个部分，一是代码，实际上代码相对简单，没有太多创新之处；二是训练模型和权重，这是开发中的重要部分，目前主要由大公司完成。我们发布的模型是不允许用于商业目的的，我们还对可以下载此模型的人进行了审查，主要是研究人员和学者。

在此基础上，我们还有三年开源LLM模型的经验，迄今为止并未出现重大问题。对于Llama2系统，我们执行了一套非常详尽的流程。首先，在整理数据集时，我们剔除了其中最具争议和有毒的内容，以保证模型的质量。其次，我们组织了多个红队，这些团队尝试找出系统的漏洞，制造危险的输出，这个过程耗费了数千个小时。我们还设有一个专门负责这项工作的团队，名为Responsible AI。

此外，我们还在DEF CON会议上有限地向白帽黑客提供了该模型，这一较大的社区中有专业人士尝试找出系统的漏洞，从而增强我们对这些系统的信心。我们对找出的漏洞进行了修复，制定了错误奖励政策，以激励那些发现我们系统中弱点的人告诉我们。实际上，自Llama 2发布以来，开源社区的反馈热情很高，我们一直在收到反馈，不断提高系统的安全性。

LeCun博士，我想我会将这个问题交给您来回答。我是一个负责为商业、司法和科学部门拨款的小组委员会的首席共和党人。NSF正在进行的一项工作就是国家人工智能研究所计划。我很高兴听到您或我们的任何小组成员对该计划的成果或能力提出批评或赞扬。我们如何才能确保该计划适应大多数由私营部门进行的研究？

参议员先生，这是一个很好的问题。作为一个在学术界和工业界都有涉足的人，我们今天观察到，在进行人工智能研究时，学术界因缺乏计算资源而陷入困境。因此，我认为该法案中的一项内容是为学术界和其他非商业科学家提供基础设施、计算基础设施来取得进展，这可能是资金的最佳用途。另一个可能性是促进信息和思想的自由流通，从根本上改善工业界和学术界之间的交流过程。在一些欧洲国家，有一些项目允许博士生进行工业实习，这不仅仅是短期实习，而是在攻读博士学位期间花费长达两三年的时间。实际上，我们在META已经与美国各地的大学签订了双边协议，建立了类似的项目，因为它在欧洲非常成功，所以我们试图将其引入到这里。如果政府能为此提供一些帮助，那就太好了。最后一点是关于数据访问，这是詹森博士在不同背景下提到的，但这对医疗保健领域的研究，例如医学领域，尤为重要。如果研究人员能够更好地获得数据，情况会大大改善，而目前这些数据由于各种原因、复杂的法律问题而大多保密。也许国会可以帮助解决这个问题。谢谢。

关于如何定制现成的人工智能模型，它们是如何组合在一起的？政府如何才能最好地利用商业的、现成的和定制的人工智能技术，以确保充分发挥人工智能的能力，特别是在智能界？

参议员先生，我认为目前人工智能市场的状态以及我预测的发展方向会有点像互联网。因为会有一些本质上是开源的通用平台，由如MITA这样的公司生产，并可能有学术界的贡献。在这些平台之上，会产生商业产品，这些产品不一定是开源的，它们可能会以各种方式进行商业化。还会有一些定制化的、针对特定应用进行微调的解决方案，无论是在政府部门、教育、工业、制造服务，还是娱乐，都是如此。我认为这就是未来的模式。这是我们今天在软件各个领域，当然也包括互联网，所观察到的模型类型。我认为这就是发展的方向。谢谢。

一个非常实际的问题。人工智能生成图像的水印可行性如何？坦白地说，这是我们所关心的，因为我们很可能受到人工智能生成的虚假信息的影响，非常熟练地模仿我们的脸、我们的声音、我们的手势，但完全是虚假的。要求人工智能在 Facebook、TikTok 或 Instagram 上生成的图像都带有水印或标签，以便消费者知道他们所看到的并非真实，这在技术上可行吗？当我们考虑监管时，这是我们应该考虑的事项吗？

参议员先生，确实，这是一个非常实际的问题。从技术上讲，这是可行的。主要的问题在于采纳全行业的通用标准。因此，需要有一种通用的方法来以可见或不可见的方式使用隐写术加水印。事实上，这可以通过图像、视频和音频的生成过程来实现，以便计算机能够检测这个系统是否是由生成式人工智能系统生成的。但是，用户必须接受它，并使用符合该标准的产品。因此，这需要全行业范围内的采纳。对于文本来说，问题更为复杂，没有简单的方法可以在文本内隐藏水印。人们试图通过调整不同单词的频率来实现这一点，但效果尚不完美。但对于文本来说，文本是由人类产生的。它不像照片那样可以随意传播。发布文字的人最终应该对其内容负责，因此我们不应该有像第230条那样的责任保护。

出版商应该对他们的作品负责吗？主席，我希望专家组能帮助我们解决这个水印问题，因为这是我们需要理解的问题。这很可能成为我们即将制定的任何立法的一部分。我们需要您在这方面的专业知识，消费者应该知道他们所看到的是什么。谢谢。

参议员，我不是律师，但我知道第230条对互联网的发展至关重要。我当然愿意让您与专家联系。

如果每个平台都有不同的标准，我们可能会有七、八或十个不同的标准，这将不利于实现我们的目标。

欧洲目前已经在开发一种模式，或者至少他们正在通过欧洲议会制定这种模式，来监管人工智能。他们确定了高风险类别和其他两个风险较低的类别。您有机会了解这个模式吗？您对他们采取这种方法来监管人工智能有何看法？

参议员先生，我认为该法案中的一些原则可能是个好主意，但坦白地说，我不了解细节。据我了解，欧洲的初创企业和工业界已经相当一致地反对这项规定，并不是因为您提出的观点（我认为这些观点可能很好），而是因为法规的细节。坦白说，我对它的了解太肤浅，无法发表更多评论。

我认为这不应该被强制执行，它不应该因监管而消失。有人认为人工智能技术，特别是未来的人工智能技术，太危险，无法接触。而我所主张的是，至少应该开放基础技术，而不是基于它的产品，以确保美国的领导地位，因为这是我们所知道的推动进步并保持领先地位的唯一方式。这是第一点。然后，就有一种未来，想象一下未来的人工智能系统达到了人类智力水平。假设从现在起一两年，虽然这个时间可能有误。我们与数字世界的每一次互动都将由人工智能系统介导。我们每个人都会有一个人工智能助手，时刻在日常生活中帮助我们。所以这基本上就像拥有一个可能比您更聪明的员工。我很熟悉与比我更聪明的人共事。

我认为，我们无法预知20年后主要的职业将是什么。肯定会出现新的职业类型，而今天我们无法想象它们。然而，延续这个话题，每个人的信息以及与数字世界的互动都将由这些人工智能系统之一来协调，这基本上将构成所有人类知识的存储库。这不能是专有的，这样太危险了。它必须是开放的，且由广泛的人群贡献，就像维基百科是通过众包制作的一样。这是唯一能培养出能够讲所有语言，了解所有文化的多样化观点的方法。这不可能由单一的私人实体来完成。它必须是开放的。如果不加以管制，它将消失，因为这是最自然的发展方式，就像互联网一样。互联网已经变得开放，因为这是最有效的模型。

如果我理解正确的话，我认为这涉及了几个问题。第一，供应商应该被信任吗？这就是我们制定法规的原因，例如，针对汽车驾驶辅助系统或使用人工智能的医学图像分析系统。但是，您应该知道，至少在社交媒体方面，尽管已经有公司表示愿意，国会还是什么也没做。我非常清楚这一点。所以，社交网络所经历的有趣历史，某些未预料到的副作用，可能是由于某种程度的天真或其他原因，但它们并未被预见。然而，对于其中大多数人来说，它们已经被尽快修复。因此，每当有攻击发生，例如，试图干扰选举，都会有相应的对策。

对于传播CSAM内容，误导信息，危险的错误信息，Deepfakes等等，都有对策。所有这些对策都大量使用了人工智能。所以，这实际上是人工智能不是问题，而是解决方案的例子。例如，在过去五年中，已经取得了显著进展，删除了令人反感的内容，打击了恐怖主义宣传等。所以，再次强调，我不会重复老生常谈，但良好的人工智能比邪恶的人工智能更为优越，因为好人更多，受过更多的教育，拥有更多的人工智能资源。而且，人工智能是对抗人工智能攻击的对策。这就是第二点。

第三点，我认为推断是错误的，关于当前人工智能系统、当前LLM的局限性。LLM非常适合创作诗歌，但它们不太擅长生成事实上正确的东西。它们不能很好地替代...它可以很有趣，这是肯定的，但事实上正确是不同的。所以，我实际上不认为现有的人工智能技术，特别是LLM，可以用于詹森博士所说的那种应用，因为它目前太不可靠了。

然而，这项技术即将取得进展。我个人一直在从事的一个方面，以及其他许多人，是研发能够进行规划和推理的人工智能系统。当前的LLM不具备规划能力，它们没有推理能力。您不会希望将它们用于国防应用，因为它们无法进行规划。它们可以检索已经过培训的现有计划，并使之适应当前情况，但这并不是真正的规划。这更像是一种记忆检索。

因此，直到我们拥有真正能够在实际情况下进行规划的技术为止，我们现在拥有的这种技术仅限于游戏。例如，能够发挥外交作用的系统，我们刚刚与詹森博士讨论过这个问题，或者玩扑克或围棋之类的，这些系统都可以进行规划。但目前，我们还没有能够处理现实世界、进行规划的系统。这种进步可能会在未来十年内实现。我一直称之为目标驱动的人工智能。

因此，这是一种人工智能系统，它不仅仅生成一个接一个的单词，就像LLM一样，而是能够规划它们的回答，使之满足多种约束和限制。这些将是未来的人工智能系统，与现有的系统有很大的不同。它们将变得更加可控、更加安全、更加有用、更加智能。我无法准确告诉您它们何时会出现，这是未来几年的事情，也许是未来十年的事情。这是我们必须努力达成的目标。