研究人员发现无人驾驶汽车人工智能存安全漏洞

人工智能是自动驾驶汽车的一项关键技术。它用于决策、传感、预测建模和其他任务。但这些人工智能系统在遭受攻击时的脆弱程度如何呢？

布法罗大学正在开展的研究对这一问题进行了探究，结果表明恶意行为者可能会导致这些系统失效。例如，通过在车辆上有策略地放置 3D 打印物体，有可能使车辆在人工智能驱动的雷达系统中变得不可见，从而躲避检测。

研究人员称，在受控研究环境中开展的这项工作并不意味着现有的自动驾驶汽车不安全。然而，它可能对汽车、科技、保险和其他行业，以及政府监管机构和政策制定者产生影响。

“虽然如今自动驾驶汽车还算新颖，但在不久的将来有望成为一种主要的交通出行方式，”领导这项工作的计算机科学与工程系纽约州立大学杰出教授 Chunming Qiao 说。“因此，我们需要确保为这些车辆提供动力的技术系统，尤其是人工智能模型，不受对抗行为的影响。这是我们在布法罗大学努力研究的内容。”

这项研究在一系列可追溯至 2021 年的论文中有所描述，其中一项研究发表于2021 年 ACM SIGSAC 计算机与通信安全会议（CCS）论文集。最近的例子包括 5 月的一项研究发表于第 30 届年度移动计算和网络国际会议论文集（通常称为 Mobicom），以及本月第 33 届 USENIX 安全研讨会上的另一项研究，可在arXiv上获取。

在过去的三年里，Yi Zhu 和 Qiao 团队的其他成员一直在布法罗大学北校区对一辆自动驾驶汽车进行测试。

朱于 5 月从 UB 的计算机科学与工程系完成了博士学业，最近在韦恩州立大学接受了教职。作为网络安全领域的专家，他是上述论文的主要作者，这些论文重点研究了激光雷达、雷达和相机的漏洞，以及将这些传感器融合起来的系统。

“在自动驾驶领域，毫米波[mmWave]雷达因在雨、雾及光照条件差的情况下比许多相机更可靠、更准确，已被广泛应用于物体检测，”朱说。“但雷达可能会遭受数字和人为的攻击。”

在对这一理论的一次这样的测试中，研究人员利用 3D 打印机和金属箔制造出具有特定几何形状的物体，他们将其称为“瓦片掩码”。通过在车辆上放置两个瓦片掩码，他们发现能够误导雷达检测中的人工智能模型，进而让该车辆从雷达中消失。

关于瓦片掩码的工作于 2023 年 11 月发表在2023 年 ACM SIGSAC 计算机与通信安全会议论文集中。

朱指出，虽然人工智能可以处理大量信息，但如果给它特殊的指令，而这些指令它没有经过训练来处理，它也可能会感到困惑并提供不正确的信息。

“假设我们有一张猫的图像，人工智能能够正确识别这是一只猫的图像，”朱说。“但如果我们对图像中的几个像素稍作改动，那么人工智能可能就会认为这是一张狗的图像，”“这是人工智能的对抗性样本。近年来，研究人员为不同的人工智能模型发现和设计了许多对抗性样本。所以，我们自问：是否有可能为自动驾驶汽车中的人工智能模型设计样本？”

研究人员指出，潜在的攻击者可能会在司机开始行程前、临时停车时或者在红绿灯处停车时，偷偷地往车辆上贴上对抗性物体。朱说，他们甚至可以把物体放在行人所穿戴的物品里，比如背包中，从而有效地让该行人无法被检测到。

这种攻击的可能动机包括为了保险欺诈而制造事故、自动驾驶公司之间的竞争，或者个人想要伤害另一辆车的司机或乘客。

研究人员说，需要注意的是，模拟攻击假定攻击者完全了解受害者车辆的雷达物体检测系统。虽然获取这些信息是有可能的，但对于公众来说，这种情况不太可能发生。

朱表示，大多数自动驾驶汽车的安全技术都聚焦于车辆的内部，而很少有研究关注外部威胁。

安全方面在一定程度上落后于其他技术。

虽然研究人员一直在寻找阻止此类攻击的方法，但他们尚未找到明确的解决方案。

“我认为要创建一个绝对可靠的防御手段还有很长的路要走，”朱说。“未来，我们不仅想研究雷达的安全性，还想研究像摄像头和运动规划等其他传感器的安全性。并且我们也希望开发一些防御解决方案来减轻此类攻击带来的影响。”