李飞飞团队开源数字孪生近似体自动化创建方法ACDC

在现实中训练机器人策略既不安全又昂贵，还难以扩展。 虽然模拟环境可以提供大量廉价的数据，但模拟和现实之间有差异。 这些差距可以通过“数字孪生”技术来缩小，数字孪生是现实世界的虚拟复制品，但制作成本高且无法广泛应用。 为了解决这个问题，斯 坦福大学李飞飞团队提出了“数字近似体”的概念。它不像数字孪生那样完全复制现实场景，而是创建与现实在几何和语义上相似的虚拟环境，成本更低，且有助于模型在不同场景下更好地泛化。

基于此，团队开发了一种名为“数字近似体自动创建”（ACDC）的方法，设计了一个完全自动化的“现实到模拟再到现实”的训练流程，将现实场景转换为可交互的虚拟环境，训练后能直接应用于现实机器人策略。（链接在文章底部）

01 技术原理

ACDC 包含三个连续步骤：

1. 首先，从输入的 RGB 图像中提取与每个物体相关的信息。

2. 接着，利用这些信息与资产数据库进行比对，找到与检测到的物体相匹配的数字模型（也就是 "数字孪生体"）。

3. 最后，对选中的数字孪生体进行后期处理，并生成一个完全可交互的模拟场景。

ACDC主要通过实验回答以下几个问题：

Q1: ACDC 能生成高质量的数字孪生场景吗？给定一张 RGB 图片，ACDC 能否捕捉到原始场景中的高级语义和空间细节？

Q2: 在原始场景中测试时，基于数字孪生体训练的策略，是否能达到基于数字孪生体训练的策略相同的表现？

Q3: 在不同于训练的场景中，基于数字孪生体训练的策略，是否比基于数字孪生体训练的策略具有更好的鲁棒性？

Q4: 基于数字孪生体训练的策略，能否直接应用到真实世界而无需额外调整？

首先看两个物体之间的距离最大值，再看场景里有多少物体被正确分类和建模。然后，比较原始场景和重建场景中物体位置的平均差距，以及物体的朝向差异。最后，计算物体边界框之间的重叠程度，用 IoU 来衡量物体匹配的精度。

根据这些结果，可以肯定地回答 Q1：ACDC 确实能够保留输入场景的语义和空间细节。它可以通过一张 RGB 图片生成现实物体的数字孪生体，并且这些数字孪生体能够被精确地定位和缩放，与原始场景相匹配。

02 实际效果

使用数字孪生体进行模拟到模拟策略学习

使用数字孪生体进行模拟到现实的策略学习

真实到模拟再到真实的场景生成与策略学习

根据这些结果，可以自信地回答 Q2、Q3 和 Q4：使用数字孪生体训练的策略在相同分布下的表现与基于数字双胞胎训练的策略相当，并且在不同分布的数据上表现得更加稳健。此外，这些策略还能实现“零样本迁移”，即无需额外调整，就能直接从模拟环境应用到真实世界中。

欢迎交流～，带你学习AI，了解AI