OpenAI重新任命顶级人工智能安全主管

鞭牛士报道，7月24日消息，据CNBC报道，知情人士向 CNBC 证实，OpenAI 上周解除了其高级安全主管之一亚历山大·马德里 (Aleksander Madry) 的职务，并将其重新分配到专注于人工智能推理的工作。

根据普林斯顿大学人工智能计划网站上 Madry 的个人简介，Madry 是 OpenAI 的应急准备负责人，该团队的任务是跟踪、评估、预测和帮助防范与前沿人工智能模型相关的灾难性风险。

OpenAI 向 CNBC 表示，Madry 在新的职位上仍将从事核心 AI 安全工作。

据该大学网站介绍，他还是麻省理工学院可部署机器学习中心主任以及麻省理工学院人工智能政策论坛的联合负责人，目前正在休假。

在决定重新任命 Madry 不到一周的时间里，一群民主党参议员向 OpenAI 首席执行官 Sam Altman 发送了一封信，询问OpenAI 如何解决新出现的安全问题。

这封于周一发出并被 CNBC 看到的信函还表示，我们寻求 OpenAI 提供更多信息，包括该公司为履行其公开的安全承诺所采取的措施、该公司如何内部评估其履行这些承诺的进展，以及该公司对网络安全威胁的识别和缓解情况。

OpenAI 尚未立即回应置评请求。

立法者要求这家科技初创公司在 8 月 13 日之前就其安全实践和财务承诺的具体问题做出一系列答复。

这是今年夏天围绕 OpenAI 不断增加的安全担忧和争议的一部分，OpenAI 与谷歌、 微软、 Meta 和其他公司一起引领了 生成人工智能 军备竞赛——这个市场的收入预计将在十年内 超过 1 万亿美元 ——似乎每个行业的公司都在竞相添加人工智能聊天机器人和代理，以避免 被竞争对手甩在后面。

本月早些时候，微软 放弃了在 OpenAI 董事会的观察员席位，并在 CNBC 看到的一封信中表示，它现在可以辞职，因为它对该初创公司董事会的架构感到满意。自导致奥特曼短暂下台 并威胁到微软对该公司的巨额投资的起义以来，董事会在八个月内进行了改组。

但上个月，一群现任和前任 OpenAI 员工发表了一封 公开信，描述了他们对人工智能行业快速发展的担忧， 尽管缺乏监督，而且对那些想要发声的人也没有提供举报人保护。

员工们当时写道：人工智能公司有强大的经济动机来逃避有效的监督，我们认为定制的公司治理结构不足以改变这种状况。

这封信发布几天后，一位知情人士向 CNBC 证实，联邦贸易委员会和司法部 将对 OpenAI、微软和英伟达展开反垄断调查，重点关注这些公司的行为。

美国联邦贸易委员会主席莉娜·汗 (Lina Khan) 将 其机构的行动描述为对人工智能开发商和主要云服务提供商之间正在形成的投资和合作关系的市场调查。

现任和前任员工在 6 月份的信中写道，人工智能公司掌握着关于其技术能做什么、他们采取的安全措施的程度以及该技术对不同类型伤害的风险水平的“大量非公开信息”。

他们写道：我们也了解这些技术带来的严重风险，并补充说，这些公司目前只承担了与政府分享部分信息的薄弱义务，而与民间社会则没有任何义务。我们认为，不能指望它们都自愿分享这些信息。

今年 5 月，OpenAI 决定解散其专注于人工智能长期风险的团队，这距离其宣布成立仅一年，一位知情人士当时向 CNBC 证实了这一消息。

这位不愿透露姓名的人士表示，一些团队成员已被重新分配到公司内的其他团队。

该团队在其领导人、OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 于 5 月宣布离开这家初创公司后解散 。Leike 在 X 上的一篇文章中写道，OpenAI 的安全文化和流程已经让位于闪亮的产品。

阿尔特曼当时在 X 上 表示，他很遗憾看到雷克离开，OpenAI 还有更多工作要做。不久之后，联合创始人格雷格·布罗克曼在 X 上发布了 一份由布罗克曼和首席执行官共同撰写的声明，声称该公司提高了人们对 AGI 风险和机遇的认识，以便世界能够更好地为此做好准备。

「我加入是因为我认为 OpenAI 是世界上进行这项研究的最佳场所。」Leike 当时在 X 上写道。「然而，我与 OpenAI 领导层在公司的核心优先事项上意见分歧已有一段时间，直到我们最终到达了临界点。」

Leike 写道，他认为公司应该将更多的带宽集中在安全、监控、准备、安全和社会影响上。

「这些问题很难解决，我担心我们无法走上正确的轨道。」他写道。「过去几个月，我的团队一直在逆风前行。有时我们为[计算资源]而苦苦挣扎，完成这项至关重要的研究变得越来越困难。」

Leike 补充说，OpenAI 必须成为一家安全第一的 AGI 公司。

「制造比人类更聪明的机器本身就是一项危险的事业。」他当时写道。「OpenAI 代表全人类肩负着巨大的责任。但在过去几年里，安全文化和流程已经让位于闪亮的产品。」

《The Information》首先报道了马德里被调任的消息。