英伟达Nvidia RTX DLSS-深度学习超级采样技术详解

英伟达Nvidia RTX DLSS-深度学习超级采样技术详解

英伟达在其RTX30系列和RTX40系列显卡上有两个突出的功能:光线追踪和DLSS。PlayStation5和XboxSeriesX在向大多数人介绍光线追踪方面都做得很好,但DLSS仍然有点模糊。这有点复杂,但它可以让您以虚拟化的更高分辨率玩游戏,保持更多的细节和更高的帧速率,而不会对您的显卡造成太大的负担。它通过利用机器学习的力量为您提供世界上最好的东西,并且随着DLSS3的引入,该技术变得更加强大。

但故事远不止这些。以下是您需要了解的有关DLSS、它的工作原理以及它可以为您的PC游戏做什么的所有信息。

什么是DLSS?

DLSS代表深度学习超级采样。“超级采样”位是指一种抗锯齿方法,它可以平滑呈现在渲染图形上的锯齿状边缘。然而,与其他形式的抗锯齿相比,SSAA(超级采样抗锯齿)通过以更高的分辨率渲染图像并使用该数据以原始分辨率填补空白。

“深度学习”部分是英伟达的秘诀。利用机器学习的力量,英伟达可以训练具有高分辨率扫描的AI模型。然后,抗锯齿方法可以使用AI模型来填充缺失的信息。这很重要,因为SSAA通常要求您在本地渲染更高分辨率的图像。Nvidia离线进行,远离您的计算机,提供超级采样的好处而没有计算开销。

这一切都归功于英伟达的Tensor内核,这些内核仅在RTXGPU中可用(在数据中心解决方案之外,例如NvidiaA100)。尽管RTX20系列GPU内部具有Tensor核心,但RTX3060、3060Ti、3070、3080和3090配备了Nvidia的第二代Tensor核心,可提供更高的每核心性能。

英伟达最新的RTX40系列显卡将Tensor内核提升到了第四代。这使得DLSS增强功能更加强大。得益于新的8位浮点张量引擎,内核的吞吐量比上一代提高了5倍。

英伟达在这一领域处于领先地位,尽管AMD的新FidelityFX超分辨率功能可能会带来一些激烈的竞争。甚至英特尔也将很快发布自己的超级采样技术,称为IntelXeSS,或IntelXeSuperSampling。稍后再谈。

DLSS究竟做了什么?

DLSS是教Nvidia的AI算法生成更好看的游戏的详尽过程的结果。在以较低分辨率渲染游戏后,DLSS从其超分辨率图像训练的知识库中推断信息,以生成看起来仍像以更高分辨率运行的图像。这个想法是让以1440p渲染的游戏看起来像是在运行4K或1080p游戏,看起来像1440p。DLSS2.0提供四倍的分辨率,允许您以1080p渲染游戏,同时以4K输出游戏。

图片[1]-英伟达Nvidia RTX DLSS-深度学习超级采样技术详解

更传统的超分辨率技术可能会导致最终图片中出现伪影和错误,但DLSS旨在处理这些错误以生成更好看的图像。在适当的情况下,它可以在不影响游戏外观和感觉的情况下显着提升性能;相反,它可以让游戏看起来更好。

早期的DLSS游戏(如《最终幻想XV》)提供了适度的帧速率提升,从每秒5帧到15fps,而最近的版本则有了更大的改进。在《DeliverustheMoon》和《Wolfenstein:Youngblood》等游戏中,英伟达为DLSS引入了一种新的AI引擎,我们被告知它可以提高图像质量,尤其是在1080p等较低分辨率下,并且在某些情况下可以将帧速率提高50%以上。

使用最新的DLSS3迭代,帧速率增益可能会更加显着。英伟达展示了MicrosoftFlightSimulator的视频,其中帧速率得到了大幅提升,从没有DLSS的64fps到使用DLSS3的135fps。

DLSS用户还可以进行新的质量调整模式,在性能、平衡和质量之间进行选择,每种模式都将RTXGPU的Tensor核心马力集中在DLSS的不同方面。

DLSS是如何工作的?

DLSS强制游戏以较低的分辨率(通常为1440p)渲染,然后使用其训练有素的AI算法来推断如果以更高的分辨率(通常为4K)渲染它会是什么样子。它通过利用一些抗锯齿效果(可能是Nvidia自己的TAA)和一些自动锐化来做到这一点。在更高分辨率下不会出现的视觉伪影也被消除,甚至用于推断图像中应该出现的细节。

AI算法经过训练可以以极高的分辨率(假设为64倍超级采样)查看某些游戏,并且在添加到最新的Nvidia驱动程序版本之前被提炼到只有几兆字节的大小,并可供所有游戏玩家使用全世界。最初,Nvidia必须逐个游戏地完成这个过程。在DLSS2.0中,Nvidia提供了一个通用的解决方案,因此不再需要为每个游戏训练AI模型。

实际上,DLSS是Nvidia的屏幕截图增强Ansel技术的实时版本。它以较低的分辨率渲染图像以提供性能提升,然后应用各种效果以提供与提高分辨率相对应的整体效果。

结果可能是喜忧参半,但总的来说,它会导致更高的帧速率,而不会显着损失视觉保真度。Nvidia声称,当同时使用DLSS和光线追踪时,RemedyEntertainment的Control中的帧速率可以提高多达75%。它通常没有那么明显,并不是每个人都喜欢DLSS游戏的最终外观,但对于那些想要美化他们的游戏而无需以更高的分辨率运行成本的人来说,这个选项肯定是存在的。

随着时间的推移更好

DLSS有可能让在1080p以上的分辨率下无法达到舒适帧速率的游戏玩家能够通过推理来做到这一点。DLSS无疑是RTXGPU最强大的功能之一。它们并不像我们希望的那样强大,光线追踪效果很漂亮,但往往会对性能产生相当大的影响,但DLSS为我们提供了两全其美的效果:外观更好、性能也更好的游戏。

最初,DLSS似乎是低端显卡的小众功能,但事实并非如此。相反,DLSS使《赛博朋克2077》和《控制》等游戏能够在高端硬件上提升视觉保真度,而不会使游戏无法玩。DLSS提升了低端硬件,同时为高端硬件提供了未来的一瞥。

Nvidia展示了RTX3090渲染游戏,例如Wolfenstein:YoungBlood8K,开启了光线追踪和DLSS。尽管距离广泛采用8K还很遥远,但4K显示器正变得越来越普遍。游戏玩家可以以1080p或1440p渲染并使用DLSS填充缺失的信息,而不是以原生4K渲染并希望保持在50fps到60fps左右。结果是更高的帧速率,而图像质量没有明显损失。

DLSS也一直在改进,它会定期接收更新以尝试改进AI算法。它现在允许它更智能地使用运动矢量,这基本上有助于改善物体在移动时的外观。此更新还减少了重影,使粒子效果看起来更清晰,并提高了时间稳定性。DLSS2现在已被广泛采用,截至2022年9月,已有216款游戏支持它。

不过,改进并不止于此。事实上,随着DLSS3的引入,事情将变得更加有趣。

DLSS3通过渲染帧而不是像素来重塑技术

9月20日,在GTC2022主题演讲中,Nvidia宣布了DLSS3(该技术的最新版本),将提供给RTX40系列显卡的所有者。与之前的一些较小的更新不同,这次对DLSS的更改很大,并且它们有可能提供巨大的性能提升。

图片[2]-英伟达Nvidia RTX DLSS-深度学习超级采样技术详解

这一次,DLSS将能够预测实际帧,而不仅仅是像素,填充您的GPU未渲染的内容,并在许多游戏中提供帧速率提升。据Nvidia称,DLSS3的速度将是DLSS2的四倍,并且能够提高大多数游戏的性能,包括主要依赖CPU而不是GPU的游戏。

英伟达正在全力升级这一代超级采样技术。新的光流加速器帮助DLSS预测会发生什么并填补空白。该公司还推出了NvidiaReflex,这是一种同步GPU和CPU的功能,可将延迟减少多达两倍。

如上所述,Nvidia在MicrosoftFlightSimulator中展示了DLSS3,在这类游戏中达到135fps,高于64,简直是巨大的。《赛博朋克2077》中的收益同样显着。

总而言之,Nvidia的首席执行官JensenHuang承诺DLSS3的性能将是DLSS2的四倍。不过,我们必须等待技术问世才能自己进行测试,但这不会至少要到10月12日。

DLSS与FSR与RSR与XeSS

在图形技术方面,AMD是Nvidia最大的竞争对手。为了与DLSS竞争,AMD在2021年发布了FidelityFX超分辨率(FSR)。虽然它实现了在提高帧率的同时改善视觉效果的相同目标,但FSR的工作方式与DLSS截然不同。FSR以较低的分辨率渲染帧,然后使用开源空间放大算法使游戏看起来像是在以更高的分辨率运行,并且不考虑运动矢量数据。DLSS使用AI算法来提供相同的结果,但这种技术仅受Nvidia自己的RTXGPU支持。另一方面,FSR几乎可以在任何GPU上运行。

除了FSR,AMD还拥有Radeon超分辨率(RSR),这是一种利用AI的空间升级技术。虽然这听起来与DLSS相似,但还是有区别的。RSR使用与FidelityFX超分辨率(FSR)相同的算法构建,是一种基于驱动程序的功能,通过AMD的Adrenalin软件提供。RSR旨在填补FSR不可用的空白,因为后者必须直接实施到特定游戏中。从本质上讲,RSR应该适用于几乎所有游戏,因为它不需要开发人员来实现它。值得注意的是,FSR适用于较新的Nvidia和AMDGPU,而RSR仅与AMD的RDNA卡兼容,其中包括RadeonRX5000和RX6000系列。很快,该阵容将扩展到包括RDNA3及其RadeonRX7000系列GPU。

英特尔还一直致力于开发自己的超级采样技术,称为英特尔XeSS,或英特尔Xe超级采样。这种图像放大技术同时使用空间和时间数据,即图像数据和运动数据,并利用人工智能进一步提高图像质量。它通过训练有素的神经网络传递数据,利用机器学习和人工智能来提高图像质量,这类似于DLSS。

英特尔正在开发两个版本的XeSS。第一个使用XMX矩阵数学单元,该单元将出现在其新的Xe-HPGGPU中,以处理硬件端的所有AI处理。另一个版本将使用广泛接受的四元素向量点积(DP4a)指令,从而消除对英特尔自身硬件的依赖。据英特尔称,英特尔XeSS可将性能提升两倍,而硬件速度较慢、分辨率限制为1080p和低设置的系统将能够以4K运行游戏。英特尔还计划开源XeSSSDK和工具。

请登录后发表评论

    没有回复内容