上海人工智能实验室主任周伯文：探索AI-45°平衡律，需兼顾安全与性能

7月4日消息，在2024世界人工智能大会全体会议上，上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授周伯文发表主旨演讲，带来了“探索人工智能45°平衡律”的观点。

周伯文说，当前，以大模型为代表的生成式人工智能快速发展，但随着能力的不断提升，模型自身及其应用也带来了一系列潜在风险的顾虑。

从公众对AI风险的关注程度来看，首先是数据泄露、滥用、隐私及版权相关的内容风险；其次是恶意使用带来伪造、虚假信息等相关的使用风险；当然也诱发了偏见歧视等伦理相关问题；此外还有人担心：人工智能是否会对就业结构等社会系统性问题带来挑战。在一系列关于人工智能的科幻电影中，甚至出现了AI失控、人类丧失自主权等设定。

这些由AI带来的风险已初露端倪，但更多的是潜在风险，防范这些风险需要各界共同努力，需要科学社区做出更多贡献。

周伯文认为，有这些担忧的根本原因是目前的AI发展是失衡的。他向大家展示了一张坐标图——横轴是AI技术能力的提升，呈现指数级增长；纵轴是AI的安全维度，典型的技术如红队测试、安全标识、安全护栏与评估测量等，呈现零散化、碎片化，且后置性的特性。

“总体上，我们在AI模型安全能力方面的提升，还远远落后于性能的提升，这种失衡导致AI的发展是跛脚的，不均衡的背后是二者投入上的巨大差异。”周伯文指出，“对比一下，从研究是否体系化，以及人才密集度、商业驱动力、算力的投入度等方面来看，安全方面的投入是远远落后于AI能力的。”

周伯文说，可信AGI需要能够兼顾安全与性能，人们需要找到AI安全优先，但又能保证AI性能长期发展的技术体系，“我们把这样一种技术思想体系叫作‘AI-45°平衡律’。”

周伯文表示，目前，AI安全和性能技术发展主要停留在第一阶段，部分在尝试第二阶段，但要真正实现AI的安全与性能平衡，我们必须完善第二阶段并勇于攀登第三阶段。沿着可信AGI的“因果之梯”拾级而上，“我们相信可以构建真正可信AGI，实现人工智能的安全与卓越性能的完美平衡。”（汤姆）