《国际产业》「超智慧」即将诞生？ 忧人类灭绝 OpenAI将创建AI纠察队

OpenAI共同创办人Ilya Sutskever及「AI对齐」（AI Alignment）团队负责人Jan Leikeklg在部落格发文表示，「超智慧」（superintelligence）的巨大力量可能导致人类丧失权能，甚至导致人类灭绝。目前我们还没有一个解决方案来引导或控制可能出现的「超智慧」AI，并防止它失控。

他们在文章中做出预测，称比人类更聪明的「超智慧」AI可能会在这个10年间诞生。人类需要拥有比目前更好的技术才有能力控制「超智慧」AI，因此在所谓的「AI对齐」研究方面必须取得突破。 「AI 对齐」指的是让AI系统的目标、价值观与行为符合人类社会的期望，其研究重点在于确保AI对人类有益而无害。

文章中指出，由微软支持的OpenAI将在未来4年投入其20%的运算能力来解决这个问题。此外，该公司将组建一个名为「Superalignment」的新团队来落实这项工作。

这个新团队的目标是创建一个「人类级别」的AI对齐研究员，并透过大量的运算能力来扩展其能力。

OpenAI表示，这意味着他们将使用人类的反馈来训练AI系统，然后训练AI糸统来辅助人类的评估工作，最终目标是让AI系统自己进行对齐研究。

致力于推动AI安全的专家Connor Leahy表示，这项计划存在根本上的缺陷，因为最初的人类级AI在可以被要求解决AI安全问题之前，就可能失控并造成灾难，「在建构人类级的AI系统之前，你必须先解决『对齐』问题，否则就是默认你无法控制它。我个人并不认为这是一个特别好或特别安全的计划」。

AI可能带来的危险一直是该领域研究人员与一般大众最关心的问题。今年4月，一群相关领域的产业领袖与专家发表联名公开信，以危及人类社会为由，呼吁暂停开发比OpenAI最新AI模型「GPT-4」更强大的系统6个月。根据路透社/Ipsos在5月份所做的民调，超过三分之二受访的美国人担心AI可能带来负面影响，而61%的人认为AI可能对人类文明造成威胁。