深度学习超级采样（Deep Learning Super Sampling，DLSS）技术，在游戏领域取得了极大的成功，让NVIDIA的GeForce系列显卡的游戏性能得到巨大提升，DLSS一开谁也不爱。目前已经发展到了3.0版本，且目前只支持40系列显卡，那么我们来回顾一下DLSS技术的发展史。

            2018年8月14日，NVIDIA发布支持实时光追技术的NVIDIA Quadro RTX显卡。

            2018年8月21日，新一代Turing架构显卡宣布支持实时光线追踪和DLSS技术。每隔一代都会对RT Core进行升级，数过来Ampere是第二代RT Core，Ada是第三代RT Core。

            2020年3月23日，NVIDIA发布DLSS2.0，当时30系列显卡还没发布，就对DLSS就升级到了2.0版本，从这里就可以看出DLSS版本的迭代与硬件没有太大关联。

            2022年10月12日，NVIDIA发布40系列显卡，并公布了DLSS3.0版本，发布会时提到GeForce RTX 4090最优性能对比上一代显卡的游戏性能提升4倍。

            DLSS本质上是一个深度学习神经网络模型，在学术上属于是超分辨重建（SR，Super Resolution），将低分辨率的图片，通过AI模型重建出高质量的图片，如下图1所示。NVIDIA能实现这项技术也得益于其显卡在AI浪潮中始终处于核心地位，其显卡默认作为训练AI的基本硬件，全世界的学者们使用其软硬件构建AI模型，因此有显卡对于模型的部署和运行极好的兼容性。但是DLSS1.0版本是针对每个游戏和应用，训练出与之对应的神经网络模型，因此模型的泛化能力不高，市场反响一般，但却为后续的发展埋下了一颗种子。

图1 超分辨率重建

            DLSS2.0在其实质，就是训练出了一个更加优秀的AI模型，得益于NVIDIA自身的服务器中心不间断的对AI模型进行调优，因此DLSS是一个能够随着时间的而逐步变得更加优异的模型。如下图2所示，DLSS2.0能够把已经渲染好的1080P图片作为输入，生成4K分辨率的图片，4K图片中的75%是由DLSS2.0模型生成的。并且与1.0版本不同，2.0版本是一个通用性神经网络，因此受到了业界的广泛好评，已超过了340款游戏和应用采用DLSS2.0技术。打游戏嘛，屏幕越大打的越爽，DLSS2.0提高了玩家的游戏体验。值得注意的是，DLSS2.0模型是加载在Tensor Core上进行运行的，你的Tensor Core总数越多性能越强，这也是接下来DLSS3.0只支持在40系列显卡上的主要原因，因为DLSS3.0的神经网络模型相较于2.0版本变得更加复杂，正所谓模型越复杂，模型精度越高，能实现的功能就越丰富，目前也只有40系列的第四代Tensor Core能带的动DLSS3.0，20系列乃至30系列显卡的Tensor Core带不动。

图2 DLSS2.0

            DLSS3.0在2.0的基础上又添加了一个图像生成网络，因此DLSS3.0实际上是由两个神经网络组成，一个进行超分辨率重建，把低分辨率图片转换成高分辨率图片，再在此基础上通过图像生成网络预测下一帧的4K画面，这样就实现的游戏帧率翻倍，如下图3所示，就说强不强吧，就等于玩家在运行3A大作时，原先的帧率假设为60帧，开启DLSS3.0后帧率能达到120帧。

图3 DLSS3.0

            接下来我们放几张NVIDIA官方原图看一下，下图4中描绘了整个DLSS3.0的运行流程，首先游戏画面是开启了光追效果，让后加上运动向量给SR，生成一张4K的新帧，通过新添加的OFA得到光流视野，将两者再传递给图像生成网络，预测出新一帧，至此由原先的1帧1080P图像变成2帧4K图像。

图4 DLSS3.0流程图

       由下图5可以看出，DLSS3.0生成了2帧4K图片中7/8的像素点。这里涉及的一个概念是，原先传统渲染出来图片的像素点是不被舍弃的，利用这些像素点，神经网络通过双三次插值、双线性插值和最邻近插值法等生成了新的像素点，因此DLSS3.0只生成了7/8的像素点。

图5 DLSS3.0生成的7/8像素

            从下图6中可以看到，想要预测出新的一帧4K图片，除了运动向量外，还必须提供光流视野，才能确保DLSS3.0算法不会被快速变化的3D场景中的静态对象混淆，出现重影等问题。而光流视野必须通过OFA获得，其很大程度上依赖于第四代Tensor核心中的FP8精度计算，因此这就造就了目前GeForce系列显卡只有40系列支持DLSS3.0。

图6 精确的阴影重建

            下图7中展示了帧生成技术与传统渲染的性能对比，通过帧生成技术，让帧与帧之间的过度变得更加流畅，给与玩家视觉体验上更好的效果，这时候可能就要有人说了，人眼在放松时的可视的帧数为24帧，就算是集中精神时，最高也不超过30帧，帧生成技术把帧数翻倍，让有的游戏甚至达到100多帧有什么用呢？这其实涉及到一个问题，就是帧数越多，在复杂的场景变换的时候就会越流程，不会让人感到突兀。

图7 帧生成技术与传统渲染对比