扎克伯格最新2万字访谈：价值百亿美金的Llama3及背后的一切
4月18日，Meta重磅推出Llama 3，称其为“迄今能力最强的开源大模型”，Llama3的登场又一次影响着AI大模型的竞争格局，引爆AI圈。
同日，Meta CEO 扎克伯格与知名科技播客主持人Dwarkesh Patel的专访也同步发出，在这个长达80分钟的访谈里，主要围绕Llama3、通用人工智能（AGI）、能源问题、AI安全问题、开源的风险以及意义进行了探讨。
扎克伯格称，AI已成为Meta的核心，Meta AI现在是目前可免费使用的最智能的人工智能助手，即将推出的Llama 3的大型版本将拥有超过4000亿参数。
在AI模型的训练和发展方面，小扎提到Llama 3的出现证实了大规模数据和计算资源对于AI模型的重要性，未来，训练大型AI模型可能面临资本和能源限制等挑战，强调AI的出现不是试图取代人类而是为了赋予人们更强大的工具完成更有挑战性的任务，以下为访谈要点：
以下是访谈全文：
Llama 3顶配版仍在训练
Dwarkesh Patel：Mark，欢迎来到这个播客。
Mark Zuckerberg：谢谢你邀请我。我是您播客的忠实粉丝。
Dwarkesh Patel：非常感谢你的赞美。让我们先聊聊这次采访发布时也会同步发布的产品。能跟我讲讲关于Meta AI和相关模型的最新进展吗?有哪些令人兴奋的地方?
Mark Zuckerberg：我想大多数人会关注到的是Meta AI的新版本。我们正在做的最重要的事情是升级模型。我们发布了Llama-3。我们以开源的方式提供给开发者社区，同时它也将为Meta AI提供支持。关于Llama-3有很多值得讨论的地方，但我认为最重要的一点是，我们现在认为Meta AI是人们可免费获得的最智能的AI助手，我们还整合了Google和Bing以获取实时知识。
我们将让它在我们的应用中更加突出，在Facebook和Messenger的顶部，你可以直接使用搜索框来提出问题。我们还增加了一些我认为非常酷、人们会喜欢的创作功能。我觉得动画是个很好的例子，你基本上可以拿任何图像，让它动起来。
人们会觉得非常惊艳的一点是，它现在可以如此快速地生成高质量的图像，实际上是在你输入的同时实时生成和更新的。你输入你的查询，它就会去适配，比如"给我看一张牛站在有山脉背景的田野里，吃着夏威夷果，喝着啤酒的图片"，它会实时更新图像，这非常酷，我想人们会很喜欢的。我觉得这将是大多数人在现实世界中能感受到的。我们正在推出它，虽然不是所有地方，但我们从少数几个国家开始，未来几周和几个月会扩大范围。我认为这将是一件很了不起的事情，我真的很兴奋能把它交到人们手中。这是Meta AI的一大进步。
但如果你想深入了解一下，Llama-3显然是技术上最有趣的。我们正在训练三个版本：我们实际上训练了三个版本，分别是80亿、700亿和4050亿的密集模型，其中4050亿的模型仍在训练中，所以我们今天并未发布。但我对80亿和700亿的表现非常兴奋，按照它们的规模来看是领先的。我们会发布一篇博客文章，附上所有的基准测试结果，人们可以自己去看看，它显然是开源的，所以大家有机会去试用它。
我们有一个新版本的路线图，将带来多模态性、更多的多语言性以及更大的上下文窗口。希望在今年晚些时候，我们能推出4050亿参数的版本。就目前的训练情况来看，它在MMLU上已经达到了85分左右，我们预计它在许多基准测试中都会有领先的成绩。我对这一切都非常兴奋。700亿的版本也非常棒。我们今天发布它。在MMLU上大约是82分，在数学和推理方面有领先的成绩。我觉得把它交到人们手里会非常酷。
Dwarkesh Patel：有意思，这是我第一次听说MMLU作为一个基准。这太令人印象深刻了。
Mark Zuckerberg：80亿参数的版本几乎与我们发布的最大版本的Llama-2一样强大。所以最小的Llama-3基本上与最大的Llama-2一样强大。
Dwarkesh Patel： 在我们深入讨论这些模型之前，我想回到过去。我猜想你们是在2022年开始采购这些H100的，或者你可以告诉我具体是什么时候。当时股价受到重创。人们问这些资本支出是怎么回事。人们不买账元宇宙。我想你花费资本支出来购买这些H100。你当时是如何知道要买H100的?你怎么知道你需要GPU?
Mark Zuckerberg： 我想是因为我们当时在开发Reels。我们总是希望有足够的算力来构建一些我们还看不到的未来的东西。我们在开发Reels时遇到了这样的情况，我们需要更多的GPU来训练模型。这是我们服务的一个重大进化。我们不仅仅是对你关注的人或主页的内容进行排序，我们开始大力推荐我们所谓的非关联内容，也就是来自你没有关注的人或主页的内容。
我们可能向你展示的内容候选库从数千个量级扩大到数百万个量级。它需要一个完全不同的基础设施。我们开始着手进行这项工作，但在基础设施方面受到限制，无法以我们想要的速度赶上TikTok的进度。我基本上是这样看的，我想："嘿，我们必须确保不再陷入这种境地。所以让我们订购足够的GPU来完成Reels、内容排名和信息流方面需要做的事情。但让我们再加倍。"再次强调，我们的普遍原则是，总会有一些我们还看不到的未来的事物。
通往AGI之路
Dwarkesh Patel：你知道那会是AI吗?
Mark Zuckerberg：我们认为那将是与训练大型模型有关的事情。当时我认为可能与内容有关。这只是经营公司的一种模式匹配，总会有另一个需要应对的方向，当时我深陷于试图让Reels和其他内容的推荐系统运作良好。这对Instagram和Facebook来说是一个巨大的突破，能够向人们展示来自他们甚至没有关注的人的有趣内容。
但事后看来，这个决定非常正确，这决定源于我们的落后。这并不是因为"哦，我想得太多了"。事实上，大多数时候，我们之所以做出一些后来看起来不错的决定，是因为我们之前搞砸了一些事情，只是不想重复犯错而已。
Dwarkesh Patel：这完全是题外话，但我想趁现在问一下。我们一会儿再回到AI的话题。2006年你没有以10亿美元的价格出售，但我想你心里肯定有一个你愿意出售的价格，对吧?你有没有心里盘算过，"我认为Facebook当时的实际估值是多少，而他们给的价格并不合理"?如果他们出价5万亿美元，你当然会卖。那么你当时是如何权衡这个选择的?
Mark Zuckerberg：我觉得有些事情只是个人层面的。我不知道当时我是否有足够的精明去做那样的分析。我周围的人都在为10亿美元找各种论据，比如"我们需要创造这么多收入，我们需要做到这么大。这显然是很多年以后的事了。"这远远超出了我们当时的规模。我当时并没有真正具备参与那种辩论所需的金融专业知识。
内心深处，我相信我们正在做的事情。我做了一些分析，"如果我不做这个，我会做什么?嗯，我真的喜欢创造东西，我喜欢帮助人们沟通。我喜欢了解人与人之间正在发生的事情和互动。所以我想，如果我卖掉这家公司，我可能会再建一家类似的公司，而我还挺喜欢现在这家的。那又何必呢?"我认为人们做出的很多最大的赌注往往只是基于信念和价值观。其实要做前瞻性的分析往往是非常困难的。
Mark Zuckerberg:我不知道时间表具体如何。我觉得这些事情都会随着时间逐步推进。
Dwarkesh Patel:但最终情况下:Llama-10。
Mark Zuckerberg:我觉得这个问题包含了很多内容。我不确定我们是在取代人，还是更多地在给人们提供工具来做更多的事情。
Dwarkesh Patel:有了Llama-10之后，这栋大楼里的程序员会变得生产力提高10倍吗?
Mark Zuckerberg:我希望不止10倍。我不认为人类有一个单一的智力阈值，因为人们有不同的技能。我认为在某个时刻，AI可能会在大多数事情上超过人类，这取决于模型的强大程度。
但我认为这是循序渐进的，我不认为AGI只是一件事。你基本上是在添加不同的能力。多模态是我们现在关注的一个关键点，最初是照片、图像和文本，但最终会延伸到视频。因为我们非常关注元宇宙，所以3D类型的东西也很重要。我非常关注的一种模态，我没有看到业内有很多其他人关注，那就是情感理解。人类大脑有如此多的部分只是专门用来理解人、理解表情和情绪的。我认为这本身就是一种完整的模态，使人工智能能够真正理解并表达情感，那么人与机器之间的互动将会变得前所未有的自然和深入。
所以除了在推理和记忆方面有很大的改进外，还有许多不同的能力是你希望训练模型去关注的，而记忆本身就是一个完整的事情。我认为未来我们不会主要把东西塞进一个查询上下文窗口来提出更复杂的问题。会有不同的存储器存储或不同的定制模型，它们会更加个性化。这些都只是不同的能力。显然还有把它们做大做小。我们两者都关注。如果你运行的是像Meta AI这样的东西，那是非常基于服务器的。我们也希望它能在智能眼镜上运行，而智能眼镜中没有太多空间。所以你希望有一个非常高效的东西来实现这一点。
Dwarkesh Patel:如果你在工业规模上使用智能进行价值数百亿美元，甚至最终价值数千亿美元的推理，那么用例是什么？是模拟吗？是元宇宙中的人工智能吗？我们将把数据中心用于什么?
Mark Zuckerberg:我们的赌注是它基本上会改变所有的产品。我认为将会有一种Meta AI通用助手产品。我认为它将从一个更像聊天机器人的东西，你问一个问题，它会制定一个答案，转变为你给它更复杂的任务，然后它会离开并完成这些任务。因此，这需要大量的推理，也需要大量的计算和其他方式。
然后我认为，与其他人的其他智能体互动将是我们所做的一大部分，无论是针对企业还是创作者。我对此的一个重要理论是，不会只有一个你与之交互的单一AI，每个企业都会想要一个代表他们利益的AI。他们不会想主要通过一个会销售竞争对手产品的AI与你互动。
我认为创作者将是一个很大的群体。我们的平台上大约有2亿名创作者。他们基本上都有这样的模式，他们想吸引他们的社区，但他们受到时间的限制。他们的社区通常想吸引他们，但他们不知道自己受到白天时间的限制。如果你能创造出一种东西，让创作者基本上可以拥有AI，按照他们想要的方式训练它，并让他们的社区参与进来，我认为这也会非常强大，所有这些事情都会有大量的参与。
这些只是消费者使用案例。我和妻子经营我们的基金会，陈-扎克伯格倡议。我们在科学方面做了很多工作，显然有很多AI工作将推进科学、医疗保健和所有这些事情。因此，它最终会影响产品和经济的基本上每个领域。
Dwarkesh Patel:你提到AI可以为你做一些多步骤的事情。这是一个更大的模型吗?例如，对于Llama-4，是否仍然会有一个700亿参数的版本，但你只需要在正确的数据上训练它，它就会非常强大?进展是什么样的?是纵向扩展吗?还是像你说的那样，同样大小但不同的数据库?
Mark Zuckerberg:我不知道我们是否知道这个问题的答案。我认为一个似乎是一种模式的东西是，你有Llama模型，然后你在它周围构建某种其他特定于应用程序的代码。其中一些是针对用例的微调，但有些是，例如，Meta AI应该如何使用Google或Bing等工具来引入实时知识的逻辑。这不是基础Llama模型的一部分。对于Llama-2，我们有一些这样的东西，它更多的是手工设计的。我们对Llama-3的部分目标是将更多这样的东西纳入模型本身。对于Llama-3，当我们开始进入更多这些类似于agent的行为时，我认为其中一些将是更多手工设计的。我们对Llama-4的目标将是将更多这样的东西纳入模型。
在每一步中，你都会感觉到在地平线上什么是可能的。你开始摆弄它，在它周围做一些hack。我认为这有助于你磨练你的直觉，知道你想尝试在下一个版本的模型中训练什么。这使得它更加通用，因为显然对于任何你手动编码的东西，你可以解锁一些用例，但它本质上是脆弱的和非通用的。
Dwarkesh Patel:当你说"纳入模型本身"时，你是指在模型本身想要的东西上训练它吗?你说的"纳入模型本身"是什么意思?
Mark Zuckerberg:对于Llama-2，工具的使用非常具体，而Llama-3在工具使用方面要好得多。我们不必手动编写所有的东西来让它使用Google并进行搜索。它可以直接做到这一点。类似地，对于编码和运行代码以及许多类似的东西也是如此。一旦你获得了这种能力，你就可以瞥见我们接下来可以开始做什么。我们不一定要等到Llama-4出现才开始构建这些功能，所以我们可以开始在它周围做一些hack。你做了大量的手工编码，至少在过渡期内，这会使产品变得更好。然后这有助于为我们想要在下一个版本模型中构建的东西指明方向。
Dwarkesh Patel:你最期待Llama-3的哪个社区微调?也许不是对你最有用的那个，而是你最享受玩的那个。他们在古代对它进行了微调，你就会和维吉尔交谈之类的。你对什么感兴趣?
Mark Zuckerberg:我认为这类东西的本质是你会感到惊讶。任何我认为有价值的具体事物，我们可能都在构建。我认为你会得到蒸馏版本。我认为你会得到较小的版本。有一点是，我认为80亿还不够小，无法满足大量用例。随着时间的推移，我很乐意得到一个10-20亿参数的模型，甚至是一个5亿参数的模型，看看你能用它做什么。
如果有80亿个参数，我们几乎和最大的Llama-2模型一样强大，那么有10亿个参数，你应该能做一些有趣的事情，而且速度更快。在将其提供给最强大的模型以完善提示应该是什么之前，它非常适合于分类，或者人们在理解用户查询意图方面所做的许多基本事情。我认为这可能是社区可以帮助填补的一个空白。我们也在考虑自己开始蒸馏其中一些东西，但现在GPU都被用来训练4050亿的模型了。
Dwarkesh Patel:你有所有这些GPU，我想你说过到今年年底会有35万个。
Mark Zuckerberg:那是整个系列。我们建造了两个，我想是2.2万或2.4万的集群，这是我们用来训练大型模型的单个集群，显然是在我们所做的很多事情中。我们很多东西都用于训练Reels模型、Facebook新闻源和Instagram信息流。推理对我们来说是一件大事，因为我们为大量人提供服务。考虑到我们所服务的社区的庞大规模，我们所需的推理计算与训练之比可能比大多数从事这些工作的其他公司要高得多。
Dwarkesh Patel:在他们事先与我分享的材料中，有一点很有趣，你在训练时使用的数据比仅用于训练的计算最优数据还要多。推理对你们来说是一个大问题，对社区也是如此，在里面放入数万亿个token是有意义的。
Mark Zuckerberg:尽管有了700亿参数的模型，有一件有趣的事情是，我们认为它会更加饱和。我们用大约15万亿个token对它进行了训练。我想我们一开始的预测是它会更多地渐近，但即使在最后它仍在学习。我们可能本可以给它更多的token，它就会变得更好一些。
在某种程度上，你在经营一家公司，你需要做这些元推理问题。我是想把我们的GPU花在进一步训练700亿模型上?我们是想继续下去，以便开始测试Llama-4的假设?我们需要做出这个决定，我认为我们在这个版本的700亿中取得了合理的平衡。未来还会有其他的700亿，多模态的那个，会在接下来的一段时间内推出。但令人着迷的是，在这一点上，架构可以接受如此多的数据。
能源瓶颈制约发展
Dwarkesh Patel:这真的很有趣。这对未来的模型意味着什么?你提到Llama-3的80亿比Llama-2的700亿还要好。
Mark Zuckerberg:不，不，它几乎一样好。我不想夸大其词。它在同一数量级上。
Dwarkesh Patel:这是否意味着Llama-4的700亿将与Llama-3的4050亿一样好?未来看起来如何?
Mark Zuckerberg:这是一个很棒的问题，对吧?我想没有人知道。在这个世界上，计划指数曲线是最棘手的事情之一。它会持续多久?我认为我们很可能会继续下去。我认为值得投资数百亿或超过1000亿美元来构建基础设施，并假设如果它继续发展，你将获得一些真正惊人的东西，这将创造出惊人的产品。我不认为业界有任何人真的可以肯定地告诉你它肯定会以那种速度继续扩展。一般来说，在历史上，你在某些时候会遇到瓶颈。现在有如此多的能量投入到这个领域，也许那些瓶颈会很快被打破。我认为这是一个有趣的问题。
Dwarkesh Patel:在没有这些瓶颈的世界里会是什么样子？假设进展只是以这种速度继续下去，这似乎是可能的。从更广的角度看，忘记Llamas...
Mark Zuckerberg:嗯，会有不同的瓶颈。在过去几年里，我认为有这个GPU生产的问题。即使是有钱购买GPU的公司也不一定能得到他们想要的那么多，因为有所有这些供应限制。现在我认为这种情况正在减少。所以你看到一群公司现在正在考虑投入大量资金来建设这些东西。我认为这将持续一段时间。有一个资本问题。在什么时候投入资本就不值得了?
我实际上认为在我们遇到这个问题之前，你将遇到能源限制。我不认为有人已经建造了千兆瓦级的单一训练集群。你遇到的这些东西最终会在世界上变得更慢。获得能源许可是一项受到严格管制的政府职能。你从软件开始，软件在某种程度上受到监管，我认为它比许多技术界人士认为的要受到更多监管。显然，如果你正在创办一家小公司，也许你会感觉到这一点。我们与世界各地的不同政府和监管机构互动，我们有很多规则需要遵守并确保我们做得很好。毫无疑问，能源是受到严格管制的。
如果你在谈论建设大型新电厂或大型扩建，然后建设穿越其他私人或公共土地的输电线路，那只是一件受到严格管制的事情。你说的是多年的准备时间。如果我们想建立一些大型设施，为其供电是一个非常长期的项目。我认为人们会这样做，但我不认为这是一件可以像达到一定的人工智能水平、筹集一大笔资金并投入进去，然后模型就会......你确实会在过程中遇到不同的瓶颈。
Dwarkesh Patel:你提到Meta即使研发预算或资本支出预算是现在的10倍，也无法负担得起的事情吗?有没有这样的事情，也许是与人工智能相关的项目，也许不是，即使像Meta这样的公司也没有资源?有没有你脑海中闪过的事情，但以现在的Meta，你甚至无法为此发行股票或债券?它的规模比你的预算大10倍?
Mark Zuckerberg:我认为能源是一个方面。我认为如果我们能获得能源，我们可能会建造比目前更大的集群。
Dwarkesh Patel:这在极限情况下从根本上受到资金的限制吗?如果你有1万亿美元......
Mark Zuckerberg: 我认为是时间问题。这取决于指数曲线走多远。现在许多数据中心的规模在50兆瓦或100兆瓦左右，或者一个大的数据中心可能是150兆瓦。拿一个整个数据中心，装满你需要做训练的所有东西，你建造你能建造的最大的集群。我认为有一群公司正在做这样的事情。
但是当你开始建造一个300兆瓦、500兆瓦或1吉瓦的数据中心时，还没有人建造过1吉瓦的数据中心。我认为这将发生。这只是时间问题，但不会是明年的事。其中一些事情需要几年的时间来建设。只是为了说明这一点，我认为一个千兆瓦的数据中心相当于一个有意义的核电站，只用于训练一个模型。
Dwarkesh Patel:亚马逊没有这样做吗?他们有950兆瓦的。
Mark Zuckerberg:我不确切知道他们做了什么。你得问他们。
Dwarkesh Patel:但它不一定要在同一个地方，对吧?如果分布式训练有效，它可以是分布式的。
Mark Zuckerberg:嗯，我认为这是一个大问题，它将如何工作。未来似乎很有可能，我们所说的这些大型模型的训练实际上更接近于推理生成合成数据，然后再将其输入模型。我不知道这个比例会是多少，但我认为合成数据的生成比今天的训练更像是推理。显然，如果你这样做是为了训练一个模型，它就是更广泛的训练过程的一部分。所以这是一个悬而未决的问题，这个平衡以及它将如何发展。
Dwarkesh Patel:这是否也可能适用于Llama-3，也许从Llama-4开始?就像你把它放出来，如果有人有大量的计算能力，那么他们就可以使用你放出的模型让这些东西变得任意智能。假设有一些随机的国家，比如科威特或阿联酋，它们有大量的计算能力，它们实际上可以只使用Llama-4来制造更智能的东西。
Mark Zuckerberg:我确实认为会有这样的动态，但我也认为模型架构有一个根本的限制。我认为像我们用Llama-3架构训练的700亿模型可以变得更好，它可以继续发展。正如我所说，我们觉得如果我们继续给它更多的数据或再次轮换高价值的token，它就会继续变得更好。我们已经看到世界各地的一群不同的公司基本上采用Llama-2 700亿模型架构，然后构建一个新的模型。但是当你对Llama-3 700亿或Llama-3 4050亿进行代际改进时，今天还没有任何类似的开源模型。我认为这是一个巨大的阶跃。人们能够在此基础上建立的东西，我认为不能无限地从那里发展。在你达到下一个阶跃之前，可以对其进行一些优化。
AI未来会发展到哪一步？
Dwarkesh Patel:让我们从具体的模型甚至你需要获得能源审批的多年准备时间稍微放大一点。大局来看，未来几十年人工智能会发生什么?它感觉像是另一种技术，比如元宇宙或社交，还是感觉像是人类历史进程中一个根本不同的东西?
Mark Zuckerberg:我认为它将是非常根本性的。我认为它将更像是计算机本身的创造。你将获得所有这些新的应用，就像你获得网络或移动电话时一样。人们基本上重新思考了所有这些体验，因为以前不可能的很多事情都变得可能了。所以我认为这将会发生，但我认为这是一个低得多的创新层次。我的感觉是，它将更像是人们从没有电脑到有电脑。
在宇宙尺度上，这显然会在几十年的时间内迅速发生。有一些人担心它真的会失控，并在一夜之间从有点智能变成极其智能。我只是认为有所有这些物理限制使得这不太可能发生。我只是不认为这会发生。我想我们会有时间适应一点。但它确实会改变我们的工作方式，并为人们提供所有这些创造性的工具来做不同的事情。我认为它将真正使人们能够做更多他们想做的事情。
Dwarkesh Patel:所以也许不是在一夜之间，但从宇宙尺度来看，我们能以这种方式思考这些里程碑吗?人类进化了，然后人工智能出现了，然后他们去了银河系。也许需要几十年，也许需要一个世纪，但这就是现在正在历史上发生的宏伟蓝图吗?
Mark Zuckerberg:抱歉，从什么意义上说?
Dwarkesh Patel:从这个意义上说，还有其他技术，如计算机，甚至是火，但人工智能本身的发展与人类进化一样重要。
Mark Zuckerberg:我认为这很棘手。人类历史就是人们基本上认为人性的某些方面在不同方面真的很独特，然后接受这不是真的这一事实，但人性实际上仍然非常特别。我们认为地球是宇宙的中心，但事实并非如此，但人类仍然非常棒，非常独特，对吧?
我认为人们倾向于有的另一种偏见是认为智能在某种程度上与生命有根本的联系。它实际上并不清楚是否如此。我不知道我们是否有足够清晰的意识或生命的定义来充分审视这一点。有所有这些科幻小说关于创造智能，它开始呈现出所有这些类人的行为和类似的东西。目前所有这些东西的化身感觉它正朝着一个方向发展，在这个方向上，智能可以与意识、能动性和类似的东西相当分离，我认为这只是使它成为一个超级有价值的工具。
Mark Zuckerberg:显然，随着时间的推移，很难预测这些东西会朝哪个方向发展，这就是为什么我认为任何人都不应该教条地计划如何开发它或计划做什么。你要随着每次发布来看待它。我们显然非常支持开源，但我还没有承诺要发布我们所做的每一件事。我基本上非常倾向于认为，开源对社区有好处，也对我们有好处，因为我们将从创新中受益。然而，如果在某个时刻，这个东西的能力发生了一些质的变化，而且我们觉得开源它是不负责任的，那么我们就不会开源。这一切都很难预测。
开源的风险平衡
Dwarkesh Patel:如果你在训练Llama-5或Llama-4时看到了什么具体的质变，会让你觉得"你知道吗，我不确定是否要开源它"?
Mark Zuckerberg:抽象地回答这个问题有点困难，因为任何产品都可能表现出负面行为，只要你能减轻这些行为，就没问题。社交媒体有不好的东西，我们努力去缓解。Llama-2也有不好的地方，我们花了很多时间努力确保它不会帮助人们实施暴力行为或类似的事情。这并不意味着它是一种自主的或智能体，这只是意味着它学到了很多关于世界的知识，它可以回答一些我们认为让它回答是没有帮助的问题。我认为问题不在于它会表现出什么行为，而在于它表现出这些行为后，我们不能缓解什么。
我认为有太多方式可以让事物变得好或坏，以至于很难事先列举出所有这些方式。看看我们在社交媒体中不得不应对的情况和各种伤害。我们基本上已经总结出大约18或19类人们会做的有害事情，我们基本上已经建立了人工智能系统来识别这些事情是什么，并尽可能确保这些事情不会在我们的网络上发生。随着时间的推移，我认为你也能把它分解成一个更详细的分类。我认为这是我们花时间研究的事情，因为我们想确保我们理解这一点。
Dwarkesh Patel:在我看来，这是个好主意。如果在未来，人工智能系统没有广泛部署，每个人都无法访问它们，我会感到失望。同时，我想更好地理解缓解措施。如果缓解措施是微调，关于开放权重的问题是，你可以移除微调，而微调通常是在这些能力之上的表面功能。如果它就像在Slack上与生物学研究人员交谈......我认为模型离这还很远。现在，它们就像Google搜索。但是如果我能向它们展示我的培养皿，它们能解释为什么我的天花样本没有生长以及需要改变什么，你如何缓解这个问题?因为有人可以直接微调进去，对吧?
Mark Zuckerberg: 这是真的。我认为，大多数人会选择直接使用现成的模型，但也有一些心怀不轨的人可能会试图利用这些模型进行不良行为，另一方面，我在哲学上如此支持开源的原因之一是，我认为未来如果人工智能过度集中化，其潜在风险可能不亚于它的广泛传播。许多人都在思考：“如果我们能够做到这些，那么这些技术在社会上的广泛应用是否会成为坏事？”同时，另一个值得思考的问题是，如果一个机构拥有比其他所有人更强大的人工智能，这是否也是一件坏事？
我想到一个安全类比，许多不同的事物中存在如此多的安全漏洞。如果你能回到一两年前，假设你只是多了一两年关于安全漏洞的知识。你几乎可以侵入任何系统。这不是人工智能。所以相信一个非常智能的人工智能可能能够识别一些漏洞，基本上就像一个人类可以回到一两年前并破坏所有这些系统，这并非完全是天方夜谭。
那么我们作为一个社会是如何应对这种情况的呢?一个重要部分是开源软件，它使得当软件得到改进时，它不会只局限于一个公司的产品，而是可以广泛部署到许多不同的系统中，无论是银行、医院还是政府的东西。随着软件变得更加强大，这是因为更多的人可以看到它，更多的人可以敲打它，关于这些东西如何工作有一些标准。世界可以一起很快升级。
我认为，在一个人工智能被非常广泛部署的世界里，它已经随着时间的推移逐步得到强化，所有不同的系统都会以某种方式受到制约。在我看来，这从根本上比这种情况更集中要健康得多。所以各方面都有风险，但我认为这是一种我没听到人们谈论得那么多的风险。有人工智能系统做坏事的风险。但我整夜担心的是，一个不值得信赖的行为者拥有超级强大的人工智能，无论是敌对的政府、不值得信赖的公司还是其他什么。我认为这可能是一个大得多的风险。
Dwarkesh Patel: 因为他们有一种别人都没有的武器?
Mark Zuckerberg: 或者只是制造大量混乱。我的直觉是，由于经济、安全和其他原因，这些东西最终变得非常重要和有价值。如果你不信任的人或对手得到了更强大的东西，那么我认为这可能是一个问题。也许缓解这种情况的最佳方式是拥有良好的开源人工智能，使其成为标准，并在许多方面成为领导者。它只是确保这是一个更加公平和均衡的竞争环境。
Dwarkesh Patel:这在我看来似乎是合理的。如果这成为现实，那将是我更喜欢的未来。我想从机制上理解，世界上存在开源人工智能系统这一事实如何防止有人用他们的人工智能系统制造混乱?以某人带着生物武器的具体例子来说，是不是我们会在世界其他地方做一堆研发来快速找出疫苗?发生了什么?
Mark Zuckerberg: 如果你以我提到的安全问题为例，我认为拥有较弱人工智能的人试图侵入一个由较强人工智能保护的系统，成功的可能性会更小。就软件安全而言。
Dwarkesh Patel: 我们怎么知道世界上的一切都是这样的?如果生物武器不是这样呢?
Mark Zuckerberg: 我的意思是，我不知道世界上的一切都是这样的。生物武器是最担心这类事情的人关注的领域之一，我认为这很有道理。有一些缓解措施。你可以尝试不把某些知识训练到模型中。有不同的做法，但在某种程度上，如果你遇到一个非常糟糕的行为者，而且你没有其他人工智能来平衡他们并了解威胁是什么，那可能就是一种风险。这是我们需要注意的事情之一。
Dwarkesh Patel: 在部署这些系统时，你能看到什么情况吗?比如你在训练Llama-4，它欺骗了你，因为它认为你没有注意到什么，然后你就想"哇，这是怎么回事?"这在Llama-4这样的系统中可能不太可能，但你能想象有什么类似的情况会让你真正担心欺骗性，以及数十亿个这样的副本在野外传播吗?
Mark Zuckerberg: 我的意思是，现在我们看到很多幻觉。更多的是这样。我认为这是一个有趣的问题，你如何区分幻觉和欺骗。有很多风险和需要考虑的事情。至少在经营我们公司时，我努力在这些长期的理论风险与我实际认为当今存在的相当真实的风险之间取得平衡。所以当你谈到欺骗时，我最担心的形式是人们利用这个来制造错误信息，然后通过我们的网络或其他网络来传播。我们对抗这种有害内容的方式是建立比对抗性更智能的人工智能系统。
这也是我对此理论的一部分。如果你看看人们通过社交网络做或试图做的各种伤害，有一些并不是非常具有对抗性的。例如，仇恨言论在人们没有在种族主义方面变得更好这个意义上并不是超级对抗性的。在这一点上，我认为人工智能总体上变得越来越复杂，其速度比人们在这些问题上要快得多。我们两方面都有问题。人们做坏事，无论是试图煽动暴力还是其他什么，但我们也有很多误报，基本上是我们不应该审查的东西。我认为这可以理解地让很多人感到恼火。所以我认为随着时间的推移，拥有一个在这方面越来越精确的人工智能将是好事。
在这些情况下，我仍然考虑让我们的人工智能系统以比他们更快的速度变得更加复杂的能力。这是一场军备竞赛，但我认为我们至少目前正在赢得这场军备竞赛。这是我花时间思考的很多东西。
是的，无论是Llama-4还是Llama-6，我们都需要思考我们观察到的行为
Dwarkesh Patel：你把它开源的部分原因是，还有很多其他人也在研究这个。
Mark Zuckerberg：所以，是的，我们想看看其他人在观察什么，我们在观察什么，我们可以改善什么。然后我们会评估是否可以将其开源。但我认为在可预见的未来，我对我们能够做到这一点持乐观态度。在短期内，我不想忽视人们今天试图使用这些模型的实际坏事，即使它们不是存在的，但它们就像我们熟悉的和运行我们的服务的相当严重的日常危害。实际上，我认为这也是我们必须花费大量时间的事情。
我发现合成数据的事情真的很奇怪，我实际上感兴趣的是为什么你不像当前的模型那样思考，为什么一遍又一遍地进行合成数据可能会有渐近线是有道理的。如果他们变得更聪明，并采用我在论文或博客文章中提到的那种技术，这些技术将在发布当天被广泛应用，它将引领正确的思维链条。为什么这不会形成一个循环呢？
当然，这不会在一夜之间发生，而是需要经过数月甚至数年的训练。可能会使用更智能的模型，它会变得更聪明，产生更好的输出，然后再变得更聪明，如此循环。我认为这是在模型架构的参数范围内可以实现的。
在某种程度上，我并不确定，我认为就像今天的80亿参数模型一样，我并不认为你能够像最先进的数千亿参数模型那样好，这些模型将新的研究融入到架构本身中。但这些模型也会是开源的，但我认为这取决于我们刚才讨论的所有问题。
我们希望情况会是这样。然而，在每个阶段，就像你在开发软件时，你可以用软件做很多事情，但在某种程度上，你会受到运行它的芯片的限制，所以总是会有不同的物理限制。模型的大小会受到你可以获得和用于推理的能量的限制。所以我同时非常乐观地认为这些东西会继续快速改进。
我比有些人更谨慎，我只是认为失控的情况不太可能发生。我认为保持选择的开放是有意义的。我们面临的未知事物太多了。有一种情况是，保持权力平衡真的很重要。就像有一场智力爆炸，他们喜欢赢得胜利。很多事情似乎都是可能的。就像保持你的选择开放一样，考虑所有的选择似乎是合理的。
Dwarkesh Patel:Meta作为一家大公司。你可以两者兼顾。至于开源的其他危险，我认为你提出了一些真正合理的观点，关于力量平衡的问题、以及我们可以通过更好的对齐技术或其他方式消除的危害。我希望Meta有某种框架。其他实验室有这样的框架，他们会说"如果我们看到这个具体的事情，那就不能开源，甚至可能不能部署。"只是把它写下来，这样公司就做好了准备，人们对此有所期待等等。
Mark Zuckerberg:关于存在性风险方面，这是一个很好的观点。现在我们更关注我们今天看到的风险类型，更多的是这些内容风险，我们不希望模型做一些帮助人们实施暴力、欺诈或以不同方式伤害人们的事情。谈论存在性风险可能在智力上更有趣，但我实际上认为，需要更多精力来缓解的真正危害是，有人拿着模型做一些伤害他人的事情。在实践中，对于当前的模型，我猜测下一代模型，甚至再下一代模型，这些都是我们今天看到的更普通的危害，比如人们互相欺诈之类的。我只是不想低估这一点。我认为我们有责任确保在这方面做好工作。
Dwarkesh Patel:Meta是一家大公司。你可以两者兼顾。
Mark Zuckerberg:没错。
对元宇宙的看法
Dwarkesh Patel:让我们来谈谈其他事情。元宇宙。你最想去人类历史上的哪个时期?从公元前10万年到现在，你只是想看看那时候是什么样子?
Mark Zuckerberg:一定要是过去吗?
Dwarkesh Patel:是的一定是过去。
Mark Zuckerberg:我对美国历史和古典历史非常感兴趣。我对科学史也很感兴趣。我实际上认为看到并试图了解更多关于一些重大进展是如何发生的会很有趣。关于这些东西，我们所拥有的只是一些有限的知识。我不确定元宇宙是否能让你做到这一点，因为对于我们没有记录的事情要回到过去是很难的。我实际上不确定回到过去是否会是一件重要的事情。我认为这对历史课之类的东西会很酷，但这可能不是我对元宇宙整体最兴奋的用例。
主要的事情就是能够与人感觉在一起，无论你在哪里。我认为那将是致命的。在我们进行的关于人工智能的对话中，很多内容都是关于所有这些背后的物理限制。
我认为技术的一个教训是，你要尽可能地将事物从物理约束领域转移到软件中，因为软件的构建和发展要容易得多。你可以让它更加民主化，因为不是每个人都会有数据中心，但很多人可以编写代码并修改开源代码。元宇宙版本的目标是实现真实的数字化存在。这将是一个绝对巨大的差异，所以人们不会觉得他们必须为很多事情在一起。现在我认为，在一起可能会有一些更好的东西。这些事情不是非黑即白的。不会像是"好了，现在你不需要再这样做了。"但总的来说，我认为这对于社交、与人联系、工作、工业的某些部分、医学以及许多其他事情来说都将是非常强大的。
Dwarkesh Patel:我想回到你在谈话开始时说的一件事。你没有以10亿美元的价格出售公司。关于元宇宙，你知道你要做这件事，即使市场因此而猛烈抨击你。我很好奇。这种优势的来源是什么?你说"哦，价值观，我有这种直觉"，但每个人都这么说。如果你要说一些你特有的东西，你会如何表达?你为什么如此确信元宇宙?
Mark Zuckerberg:我认为这些是不同的问题。是什么驱动着我?我们已经谈了很多主题。我只是真的喜欢创造东西，我特别喜欢围绕人们如何交流以及理解人们如何表达自己和工作来创造事物。我上大学时学的是计算机科学和心理学，我认为业内很多其他人学的是计算机科学。所以对我来说，这两件事的交集一直很重要。
这也是一种非常深层的驱动力。我不知道如何解释，但我从内心感到，如果我不创造新事物，我就是在做错事。即使在我们为投资1000亿美元在人工智能上或在元宇宙投入巨额资金制定商业案例时，，我们有计划，我认为这些计划非常明确，如果我们的东西有效，那将是一项很好的投资。但你不能从一开始就知道，而且，人们有各种各样的争论，无论是与顾问还是不同的人。
Dwarkesh Patel:好吧，你怎么能，你怎么有足够的信心去做这件事？你不可能从一开始就确定无疑。人们有各种争论，与顾问或不同的人讨论。你怎么有足够的信心去做这件事?
Mark Zuckerberg:我停止尝试创造新事物的那一天，我就完了，我会去别的地方创造新事物。我从根本上无法经营一些东西或者在我自己的生活中，不去尝试创造我认为有趣的新事物。对我来说，我们是否要尝试创造下一个东西，这甚至不是一个问题。我就是无法不这样做，我不知道。
我在生活的方方面面都是这样的。我们的家人在考艾岛建造了这个牧场，我参与设计了所有这些建筑。我们开始养牛，我就想"好吧，我想养出世界上最好的牛，那么我们如何设计这个牧场，以便我们能够弄清楚并建造我们需要尝试做的所有东西。我不知道，这就是我。
Dwarkesh Patel:我不确定，但我实际上对另一件事很好奇。19岁的你读了很多古代和古典作品，包括高中和大学期间。你从中学到了什么重要的一课？不仅仅是你发现的有趣的东西，而且像……到你19岁的时候，你消耗的Token并不多。其中很多都是关于经典的。显然，这在某种程度上很重要。
Mark Zuckerberg:你消耗的token并不多......这是个好问题。这是我认为非常有趣的事情之一。奥古斯都成为皇帝，他试图建立和平。当时没有真正的和平概念。人们对和平的理解是敌人不可避免地攻击你之间的暂时时期。所以你可以得到短暂的休息。他有这样一种观点，即将经济从雇佣兵和军事主义的东西转变为实际上的正和游戏。这在当时是一个非常新颖的想法。
这是一件非常根本的事情:人们当时可以想象的作为理性工作方式的界限。这既适用于元宇宙，也适用于人工智能的东西。许多投资者和其他人无法理解我们为什么要开源。就像是"我不明白，它是开源的。这一定只是你让事物成为专有的临时时期，对吧?"我认为这是技术中一个非常深刻的东西，它实际上创造了很多赢家。
我不想过度强调这个类比，但我确实认为，很多时候，有一些构建事物的模式是人们通常无法理解的。他们无法理解这对人们来说怎么会是一件有价值的事情，或者它怎么会是一种合理的世界状态。我认为，比人们想象的更合理的事情还有很多。
Dwarkesh Patel:这非常有趣。我能告诉你我在想什么吗?关于你可能从中得到的东西?这可能完全不对，但我认为关键是其中一些人有很重要的角色，他们在帝国中的年龄有多小。例如，凯撒·奥古斯都，在他19岁的时候，已经是罗马政治中最重要的人物之一。他正在领导战斗，组建第二次三头统治。我想知道19岁的你是否在想"我能做到这一点，因为凯撒·奥古斯都做到了。"
Mark Zuckerberg:这是一个有趣的例子，无论是在很多历史还是美国历史中都是如此。我最喜欢的一句话是毕加索的这句话，所有的孩子都是艺术家，挑战在于随着年龄的增长保持艺术家的身份。当你年轻的时候，有疯狂的想法更容易。在你的生活中，以及对于你的公司或你建立的任何东西，都存在着所有这些与创新者困境的类比。你在轨迹上处于较早的位置，所以更容易转向并接受新的想法，而不会破坏对不同事物的其他承诺。我认为这是经营公司的一个有趣的部分。你如何保持动态?
开源价值100亿美元的模型
Dwarkesh Patel:让我们回到投资者和开源的话题。100亿美元的模型，假设它是完全安全的。你已经做了这些评估，与本例不同的是，评估者也可以微调模型，希望在未来的模型中也是如此。你会开源这个100亿美元的模型吗?
Mark Zuckerberg:只要它对我们有帮助，那就会。
Dwarkesh Patel:但会有帮助吗?100亿美元的研发，现在它是开源的。
Mark Zuckerberg:这也是一个我们需要随着时间的推移进行评估的问题。我们有很长的开源软件历史，但我们不倾向于开源我们的产品，我们不会拿Instagram的代码来开源。
我们采用了很多底层基础设施，并将其开源。我们历史上最大的一次可能是我们的Open Compute项目，我们采用了我们所有服务器、网络交换机和数据中心的设计，并将其开源，最终它被证明非常有帮助。虽然很多人可以设计服务器，但业界现在都采用了我们的设计标准，这意味着供应链基本上都是围绕我们的设计建立的。因此，产量上升，对每个人来说都更便宜，为我们节省了数十亿美元，这太棒了。
因此，开源可能对我们有帮助的方式有多种。一种是如果人们想出了如何更便宜地运行模型。随着时间的推移，我们将在所有这些东西上花费数百亿美元甚至更多。因此，如果我们能提高10%的效率，我们就能节省数十亿或数百亿美元。这本身可能就值得很多。尤其是如果还有其他有竞争力的模型，我们的东西并不是在赠送某种疯狂的优势。
Dwarkesh Patel:那么你的观点是训练将被商品化吗?
Mark Zuckerberg:我认为这可能有很多种发展方式，这是其中之一。因此，"商品化"意味着它将变得非常便宜，因为有很多选择。这可能发展的另一个方向是质的改进。你提到了微调。现在，你可以用微调其他主要模型做的事情非常有限。有一些选择，但通常不适用于最大的模型。有能力做到这一点，不同的特定应用程序的事情或特定用例的事情，或者将它们构建到特定的工具链中。我认为这不仅会实现更高效的开发，还可能实现质的不同。
这里有一个类比。我认为移动生态系统普遍存在的一个问题是，你有这两家把关公司，苹果和谷歌，它们可以告诉你允许构建什么。有一个经济版本，就像我们构建一些东西，然后他们就拿走你一大笔钱。但还有一个质的版本，这实际上更让我不高兴。
有很多次，我们推出或想推出一些功能，而苹果就说"不，你不能推出。"这很糟糕，对吧，所以问题是，我们是否为人工智能建立了这样一个世界?你将得到少数几家运行这些封闭模型的公司，它们将控制API，因此能够告诉你可以构建什么?
对我们来说，我可以说为了确保我们不处于那个位置，自己去构建一个模型是值得的。我不希望任何其他公司告诉我们可以构建什么。从开源的角度来看，我认为很多开发人员也不希望那些公司告诉他们可以构建什么。
所以问题是，围绕这一点构建的生态系统是什么？有哪些有趣的新事物？这在多大程度上改善了我们的产品?我知道有很多情况下，如果这最终成为我们的数据库或缓存系统或架构，我们将从社区获得宝贵的贡献，这将使我们的产品更好。然后，我们所进行的特定应用程序的工作仍然具有如此大的差异性，以至于它实际上并不重要，对吗？
也许该模型最终更像是产品本身，在这种情况下，我认为是否开源就成了一个更为复杂的经济计算，因为这样做在很大程度上就是将自己商品化。但从我目前所看到的情况来看，我们似乎还没有达到那个水平。
Dwarkesh Patel:你是否期望从向云提供商许可你的模型中获得可观的收入?所以他们必须支付费用才能实际提供该模型。
Mark Zuckerberg: 我们希望有这样的安排，但我不知道它会有多重要。这基本上是我们对Llama的许可，在很多方面,它是一个非常宽松的开源许可,只是我们对最大的公司使用它有一个限制。这就是我们设置这个限制的原因。我们不是试图阻止他们使用它。我们只是希望他们来与我们交谈,如果他们打算基本上拿走我们构建的东西,转售它并从中赚钱。如果你是像Microsoft Azure或Amazon这样的公司,如果你打算转售该模型,那么我们应该在其中分一杯羹。所以在你去做之前,先来和我们谈谈。事情就是这样发展的。
所以对于Llama-2,我们与基本上所有这些主要云公司都有交易,Llama-2作为托管服务在所有这些云上都可用。我假设,随着我们发布越来越大的模型,这将成为一件更大的事情。这不是我们正在做的主要事情,但我认为,如果这些公司要销售我们的模型,我们应该以某种方式分享其中的好处,这是有道理的。
Dwarkesh Patel:关于开源的其他危险，我认为你提出了一些真正合理的观点,关于力量平衡的问题,以及我们可以通过更好的对齐技术或其他方式消除的危害。我希望Meta有某种框架。其他实验室有这样的框架,他们会说"如果我们看到这个具体的事情,那就不能开源,甚至可能不能部署。"只是把它写下来,这样公司就做好了准备,人们对此有所期待等等。
Mark Zuckerberg:关于存在性风险方面,这是一个很好的观点。现在我们更关注我们今天看到的风险类型,更多的是这些内容风险。我们不希望模型做一些帮助人们实施暴力、欺诈或以不同方式伤害人们的事情。虽然谈论存在性风险可能在智力上更有趣,但我实际上认为,需要更多精力来缓解的真正危害是,有人拿着模型做一些伤害他人的事情。在实践中,对于当前的模型,我猜测下一代模型,甚至再下一代模型,这些都是我们今天看到的更普通的危害,比如人们互相欺诈之类的。我只是不想低估这一点。我认为我们有责任确保在这方面做好工作。
Dwarkesh Patel:就开源而言，我感到好奇的是，你认为PyTorch、React、Open Compute等开源项目对世界的影响，是否有可能超越Meta在社交媒体方面的影响？我曾与这些服务的用户交流过，他们认为这种可能性是存在的，毕竟互联网的大部分运行都依赖于这些开源项目。
Mark Zuckerberg:我们的消费产品确实在全球范围内拥有庞大的用户基础，几乎覆盖了全世界一半的人口。然而，我认为开源正成为一种全新的、强大的构建方式。它可能会像贝尔实验室一样，最初他们研发晶体管是为了实现长途通话，这一目标确实实现了，并为他们带来了可观的利润。但5到10年后，当人们回顾他们最引以为傲的发明时，可能会提到其他更有深远影响的技术。
我坚信，我们构建的许多项目，如Reality Labs、某些AI项目以及一些开源项目，将对人类的进步产生持久而深远的影响。虽然具体的产品会随着时间的推移不断发展、出现和消失，但它们对人类社会的贡献却是持久的。这也是我们作为技术从业者能够共同参与的、令人振奋的部分。
自研芯片上训练模型
Dwarkesh Patel:关于你们的Llama模型，它何时会在你们自己的定制芯片上进行训练？
Mark Zuckerberg: 很快，我们正在努力推动这一进程，但Llama-4可能不是首个在定制芯片上进行训练的模型。我们采取的方法是，自研定制芯片先处理我们的排名和推荐类型的推理任务，比如Reels、新闻源广告等。这一旦我们能够将这些任务转移到我们自己的芯片上，我们就能将更昂贵的英伟达GPU用于训练更复杂的模型。
在不久的将来，我们有希望自己拥自己的芯片，我们可以首先用它来训练一些比较简单的东西，然后最终训练这些非常大的模型。同时，我要说这个项目进展得很顺利，我们正在有条不紊地推进，我们有一个长期的路线图。
如果小扎成为Google+的CEO
Dwarkesh Patel:最后一个问题。这完全是题外话，如果你被任命为Google+的CEO，你能让它成功吗?
Mark Zuckerberg:Google+？哦。好吧，我不知道。我不知道,这是一个非常困难的反事实。
Dwarkesh Patel:好的,那真正的最后一个问题是:当Gemini推出时,办公室里有人说过 "Carthago delenda est"(迦太基必须被摧毁)吗?
Mark Zuckerberg:不，我想我们现在更温和了。这是个好问题。问题是Google+没有CEO。它只是公司内部的一个部门。你之前问过什么是最稀缺的商品，但你问的是美元方面的问题。我实际上认为，对于大多数这种规模的公司来说，最稀缺的是专注。
当你是一家初创公司时，也许你在资金方面更受限制。你只专注于一个想法,你可能没有所有的资源。在某个时候，你会跨越一个门槛，进入你所做事情的本质。你正在构建多个东西，你在它们之间创造了更多价值，但你在能够投入其中的精力上变得更加受限。
总有一些情况，组织中会随机发生一些很棒的事情，而我甚至都不知道。那些都很棒。但我认为一般来说,组织的能力在很大程度上受到CEO和管理团队能够监督和管理的内容的限制。这对我们来说一直是一个重点。正如本•霍洛维茨所说，我们应该把主要的事情放在首位，并尽量专注于你的关键优先事项。
Dwarkesh Patel:非常好，非常感谢。马克，你做得太棒了。