足够强大，解锁首个3D动画开源方法DrawingSpinUp！一张图变身3D动画的秘密

动画各种角色绘图是一项有趣的视觉内容创作任务。 传统的动画方法通常只能实现平面的2D动作，缺乏3D效果。 我们可以通过将角色绘图重建为3D模型，并将3D动作数据应用于它，来解决这个问题。 然而，现有的图像转3D方法对业余角色绘图在外观和几何形状上表现不佳。 绘图中的轮廓线会给纹理合成带来很大模糊，因为它们依赖于视角。 此外，像细长的肢体这样的单线轮廓区域难以重建，结构过于细致。

为了解决这些问题，DrawingSpinUp旨在为角色绘图带来生动的3D动画，让它们能够自由旋转、跳跃，甚至跳hip-hop舞蹈。它采用了一种“先去除后恢复”的策略，先去掉视角依赖的轮廓线，再在重定向重建角色后将其恢复。为了改善几何形状，开发了一种基于骨骼的细化变形算法，来处理由单线轮廓表示的细长结构。

01 技术原理

DrawingSpinUp流程如下：(a) 首先，使用FFC-ResNet去除输入绘图的轮廓区域，并进行填补。(b) 然后，利用预训练的Wonder3D生成粗略的3D几何形状，并对其外观和纹理进行细化。(c) 最后，提出了一个两阶段的几何感知风格化网络，逐帧恢复原始绘图风格，包括纹理细节和轮廓线。

将轮廓预测任务作为图像转换问题，使用FFC-ResNet来生成更准确的轮廓掩膜，并通过3DBiCar数据集训练，最终将不同粗细的轮廓线以随机颜色添加到图像中，以模仿业余绘图风格。

为了提高纹理质量，将多视角彩色图像反投影到3D空间，重新为每个顶点上色，主要关注正面姿势的角色，这种姿势在业余绘图中常见。对于不可见的区域，比如手臂内侧或腿间，使用邻近顶点的加权颜色进行填补，最终形成带纹理的几何形状。

在动画角色创建后，渲染一系列颜色帧F，并使用风格化关键帧恢复原始绘图风格，得到风格化帧O。风格化网络由两个级联的U-Net组成，分别恢复内部纹理和外部轮廓线。为了提高稳定性，将第一个U-Net中的卷积层替换为旋转不变坐标（RIC）卷积层，以适应多样化的角色动作。

02 实际效果与对比

在与现有方法的比较中，DrawingSpinUp可以生成更真实的3D动画，smith方法只能展示平面运动，无法捕捉角色身体或头部的倾斜。DrawingSpinUp是首个支持业余角色绘图的3D动画方法，与DreamGaussian和Wonder3D等其他图像到3D重建方法相比，DrawingSpinUp方法在保持与输入绘图的一致风格和生成自然动画方面表现优越。

尽管DrawingSpinUp能够生成视觉上可信的3D动画，但仍存在一些限制。首先，输入绘图中的角色大致处于正面姿势，且没有自遮挡；一些自遮挡情况（如交叉的手臂）可能导致重建的几何形状出现表面粘连或身体部位合并。其次，当提取轮廓时，使用不当的阈值可能导致渲染伪影。此外，当输入绘图的轮廓线过厚时，生成结果可能出现伪影。而对于高度抽象且远离双足角色的绘图，效果也可能不理想。

欢迎交流～，带你学习AI，了解AI