AMD 研究表明计划利用神经超采样和去噪实现实时路径追踪以追赶 Nvidia

Nvidia 目前在 GPU 市场占据主导地位,这得益于其在性能、功能和品牌知名度方面的综合优势。其先进的 AI(人工智能)和基于机器学习的技术已被证明特别有效,而 AMD 尚未真正赶上,尤其是在消费市场。但该公司希望能尽快改变这一局面。

依据 GPUOpen 上的一篇帖子,AMD 的研究目前专注于通过神经网络解决方案在 RDNA GPU 上实现实时路径追踪。Nvidia 利用其自身的 DLSS 来实现基于 AI 的图像放大,但 DLSS 的意义远不止“深度学习超级采样”——有 DLSS 2 放大、DLSS 3 帧生成 和 DLSS 3.5 光线重建。AMD 的最新研究聚焦于神经去噪,旨在清除因在实时路径追踪中使用有限数量的光线样本而产生的有噪图像——基本上就是光线重建。

路径追踪通常每个像素使用数千甚至数万个光线计算。它是黄金标准,也是电影通常所采用的方式,往往每个渲染帧都需要数小时。实际上,一个场景是通过计算的光线反弹来进行渲染的,即使路径上的轻微变化也可能导致不同的像素颜色。大量如此操作,并为每个像素累积所有生成的样本,最终结果的质量会提高到可接受的水平。

若要实时进行路径追踪,每个像素的样本数量需要大幅减少。这就会产生更多的噪声,由于光线常常无法击中某些像素,致使照明不完全从而需要去噪。(顺便提一下,电影也使用定制的去噪算法,因为即使有数万个样本也无法保证完美的输出。)

AMD 意在凭借一个神经网络来解决此问题,该网络在重建场景细节的过程中同时进行去噪。Nvidia 的解决方案因保留了传统渲染需花费更长时间才能达成的细节而获赞。AMD 期望通过每个像素采用少量样本重建路径追踪细节来获取类似的收益。

这里的创新点在于,AMD 在单个神经网络内将上采样和去噪相结合。按照 AMD 自己的说法,他们的方法“在高于渲染分辨率的显示分辨率下,为实时路径追踪生成高质量的去噪和超采样图像”。这使流程得到了统一,使 AMD 的方法能够在一次处理中取代渲染引擎所用的多个去噪器,同时进行上采样。

这项研究有可能带来 AMD 的新版本 FSR(FidelityFX 超级分辨率) ,或许能够与英伟达的性能和图像质量标准相匹配。英伟达的 DLSS 技术需要 RTX GPU 上的专用 AI 硬件支持,以及用于在 RTX 40 系列(及后续)GPU 上生成帧的光流加速器。

AMD 目前的 GPU 通常缺乏 AI 加速功能,或者就 RDNA 3 而言,存在与 GPU 着色器共享执行资源的 AI 加速器,但对于 AI 工作负载的处理方式更优化。让人不清楚的是,AMD 能否在现有 GPU 上运行用于去噪和升频的神经网络,或者是否需要新的处理集群(即张量单元)。在现有硬件上实现这一目标,或许能让未来的 FSR 迭代在所有 GPU 上运行,但也可能会限制算法的质量和其他方面。

我们得等着瞧瞧 AMD 最终会拿出什么样的成果。对神经路径追踪和升频的精细化处理方式或许能为更广泛的硬件带来易于实现的高保真图形,但鉴于游戏中路径追踪的需求(比如:《心灵杀手 2》、《黑神话:悟空》和《赛博朋克 2077 RT 超速驱动》),我们觉得 AMD 要达到更高的图像保真度,会需要比现有产品快得多的硬件。