沈昌祥院士：构建安全可信的人工智能需在三方面发力

由中国企业改革与发展研究会、本站财经、本站财经智库联合主办的2024本站经济学家年会·夏季论坛于7月在上海举行，本届论坛的主题是《智造聚力 质焕新生》。

中国工程院院士沈昌祥在会上表示，我国提出要发展新质生产力，尤其要聚焦产业和产业链，改造提升传统产业、培育壮大新兴产业、布局未来产业、完善现代化产业体系，而人工智能对我们整个产业来说，不仅是支柱，而且是很大的驱动力。

他表示，我们要提高产业链、供应链韧性和安全水平，保证产业体系自主可控、安全可靠，这是非常重要的。党的二十大指出，“要加快建设网络强国、数字中国”，没有网络安全就没有国家安全，安全是发展的前提。

我国《网络安全法》第16条提出，“国务院和省、自治区、人民政府应当统筹规划，加大投入，扶持重点网络安全技术产业和项目，支持网络安全技术的研究开发和应用，推广安全可信的网络产品和服务，保护网络技术知识产权。”我国《国家网络空间安全战略》提出，“坚持创新驱动发展，积极创造有利于技术创新的政策环境，统筹资源和力量，以企业为主体，产学研用相结合，协同攻关、以点带面、整体推进，尽快在核心技术上取得突破。”

在ChatGPT出来以后，新的大模型不断涌现，大模型也在逐步扩大逐步完善，大模型参数规模越来越大。在沈昌祥院士看来，这么大体量的数据，如何去顺利保证安全运行，这是一个挑战。“为什么人工智能的安全问题被放大了呢？关键是大模型继承了深度学习的模型，我们叫‘黑盒子’，构成了学习的闭环环节，导致决策和推理过程中难以被理解，因此也埋下了极大的风险隐患。”他解释道。

工程院院士警告：人工智能危险性比肩核战争（来源：C位观察）

此外，模型在构造过程当中还可能存在数据来源不可信的问题，如果有人故意破坏这个模型的数据，这会给人们带来灾难。沈昌祥认为，如果智能硬件被应用于恐怖袭击，智能化机器人杀人放火更厉害，智能化武器与军备竞赛引发了国际担忧，机器人智能行为一旦失控将危及人类的安全，只有在确保人工智能安全可信的前提下才能健康发展。安全可信的系统能够提供动态的全方位保护，确保计算任务的逻辑组合不被篡改或破坏，从而实现预期的计算目标，“这相当于人体具有免疫力，确保健康。”

人工智能大模型一定要可信，那么该如何构建安全可信的人工智能？沈昌祥认为，应从三方面展开：第一方面，物理环境信息数据、算法模型规则与伦理要实现软件代码和流程都要可信可控；第二方面，计算机处理服务资源安全可信，比如传感控制设备，通信网络、计算能力都要安全可信；第三方面，安全可信的管理，离开法治管理是不行的，系统资源配置要满足高强度计算，可信策略行为一定要有准则，异常控制与审计监控不可或缺。第一，信息数据要可信；第二，设备资源要可信；第三，管理要可信。