什麼是nvidia DLSS？基本定義

Home >> Blog >> 什麼是nvidia DLSS？基本定義

什麼是nvidia DLSS？基本定義

DLSS 代表深度學習超級採樣。它是一種視頻渲染技術，旨在通過以低於顯示的分辨率渲染幀並使用深度學習（一種人工智能）來提升幀速率，以使它們在原始分辨率下看起來像預期的那樣清晰。例如，使用 DLSS，遊戲的幀可以以1080p分辨率渲染，從而更容易獲得更高的幀率，然後以4K分辨率放大和輸出，帶來超過 1080p 的更清晰的圖像質量。

這是其他渲染技術的替代方案——比如時間抗鋸齒 (TAA)，一種後處理算法——需要 RTX 顯卡和遊戲支持（請參閱下面的 DLSS 遊戲部分）。以較低幀速率或更高分辨率運行的遊戲從 DLSS 中獲益最多。

根據英偉達（在新標籤中打開）, DLSS 2.0，最常見的版本，可以將幀率提高 200-300%（更多信息請參閱下面的 DLSS 2.0 部分）。最初的 DLSS 在遊戲中的使用要少得多，而且我們發現它的效率較低，但 Nvidia 表示它可以將幀速率提高“超過 70%”。DLSS 真的可以派上用場，即使是最好的顯卡，在高分辨率或光線追踪遊戲時，與 1080p 相比，這兩者都會導致幀率大幅下降。

根據我們的經驗，很難發現以原生 4K 渲染的遊戲與以 1080p 渲染並通過 DLSS 2.0 升級到 4K 的遊戲之間的區別（即 4 倍升級的“性能”模式）。在運動中，幾乎不可能在質量模式下區分 DLSS 2.0（即1440p升級到 4K），儘管性能提升並不那麼大。

有關 DLSS 如何通過光線追踪影響遊戲性能的比較，請參閱：AMD 與 Nvidia：哪些 GPU 最適合光線追踪？. 在那次測試中，我們只在質量模式（2 倍升級）下使用了 DLSS 2.0，在要求更高的遊戲中，收益仍然相當大。

首次發布 DLSS 時，Nvidia聲稱（在新標籤中打開）它顯示出比 TAA 更高的時間穩定性和圖像清晰度。雖然這在技術上可能是正確的，但它因遊戲而異，我們更喜歡 DLSS 2.0 而不是 DLSS 1.0。一位 Nvidia 代表向我們證實，由於 DLSS 需要每幀固定數量的 GPU 時間來運行深度學習神經網絡，因此以高幀率或低分辨率運行的遊戲可能沒有看到 DLSS 1.0 的性能提升。

下面是來自 Nvidia 的一段視頻（所以請謹慎對待），比較了 1440p 分辨率和 4K 分辨率下的賽博朋克 2007遊戲玩法，開啟 DLSS 2.0 與關閉 DLSS 2.0。

DLSS 僅適用於 RTX 顯卡，但 AMD 今天發布了自己的技術版本AMD Fidelity FX Super Resolution ( AMD FSR )。FSR 與 GPU 無關，這意味著它可以在具有必要硬件功能的 Nvidia 甚至 Intel GPU 上運行。今年至少有 10 家遊戲工作室將在他們的遊戲和引擎中採用 FSR。FSR 也可在PlayStation 5上使用，並將在 Xbox Series X 和 S 上可用。

DLSS 遊戲

要使用 DLSS，您需要一張 RTX 顯卡，並且需要正在玩支持該功能的遊戲或其他類型的應用程序。您可以通過Nvidia找到截至 7 月底宣布擁有 DLSS 的完整遊戲列表（在新標籤中打開）及以下。

• 邪惡之中
• 國歌
• 亞倫的冒險
• 戰地五
• 明亮的記憶
• Call of Duty: Black Ops Cold War
• Call of Duty: Modern Warfare
• Call of Duty: Warzone
• 切爾諾貝利石
• 控制
• CRSED: F.O.A.D. (Formerly Cuisine Royale)
• 孤島危機重製版
• 賽博朋克 2077
• 死亡擱淺
• Deliver Us the Moon
• 厄運永恆
• 死亡：1983
• 永恆的邊緣
• 入伍
• 永恆空間2
• F1 2020
• Final Fantasy XV
• 堡壘之夜
• 鬼行者
• 古劍奇譚在線
• 伊卡洛斯
• 進入半徑 VR
• Iron Conflict
• 正義
• 樂高建造者之旅
• 漫威復仇者聯盟
• 漫威復仇者聯盟
• 地鐵出埃及記
• Metro Exodus PC 增強版
• Minecraft With RTX For Windows 10
• 怪物獵人：世界
• 月光之刃
• Mortal Shell
• 馬與砍殺 II：霸主
• Necromunda：僱傭槍
• 朝九晚五
• 奈良卡：劍鋒
• No Man's Sky
• Nioh 2 - 完整版
• 先驅者
• 南瓜傑克
• Rainbow Six Seige
• Ready or Not
• 荒野大鏢客 2
• Redout：太空突擊
• Rust
• 清道夫
• 古墓麗影之影
• 超大陸
• 系統衝擊
• 上升
• The Fabled Woods
• 堅持
• 戰爭雷霆
• 看門狗：軍團
• 德軍總部：Youngblood
• 扳手
• 軒轅劍七

請注意，虛幻引擎和 Unity 引擎都支持 DLSS 2.0，這意味著使用這些引擎的遊戲應該能夠輕鬆實現 DLSS。英偉達也宣布（在新標籤中打開）基於 Vulkan 的 Linux 遊戲將能夠在 6 月 23 日支持 DLSS，這要歸功於 Linux 圖形驅動程序增加了對使用 Proton 的遊戲的支持。

除了遊戲之外，還有其他類型的應用程序，例如 SheenCity Mars，一種使用 DLSS 的建築可視化應用程序。

DLSS 2.0 和 DLSS 2.1

2020 年 3 月，Nvidia發布了 DLSS 2.0，這是 DLSS 的更新版本，它使用了一種新的深度學習神經網絡，該網絡的速度應該比 DLSS 1.0 快 2 倍，因為它更有效地利用了 RTX 卡的 AI 處理器（稱為 Tensor Cores）。這種更快的網絡還允許公司消除對支持的 GPU、設置和分辨率的任何限制。

DLSS 2.0 還應該提供更好的圖像質量，同時承諾高達 2-3 倍的幀速率（在 4K 性能模式下），而前代的幀速率提升高達 70% 左右。使用 DLSS 2.0 的 4K 性能模式，Nvidia 聲稱RTX 2060顯卡可以在最大設置下以可播放的幀速率運行遊戲。同樣，遊戲必須支持 DLSS 2.0，並且您需要 RTX 顯卡才能獲得好處。

最初的 DLSS 顯然僅限於大約 2 倍的升級（Nvidia 尚未直接確認這一點），並且許多遊戲限制了它的使用方式。例如，在《戰地風雲5》中，如果您有RTX 2080 Ti或更快的 GPU，則只能在 4K 下啟用 DLSS，而不能在 1080p 或 1440p 下啟用。這是因為 DLSS 1.0 的開銷通常超過了在低分辨率和高幀率下的任何潛在好處。

2020年9 月，英偉達發布 DLSS 2.1，為超高分辨率遊戲（9x upscaling）增加了 Ultra Performance Mode，支持 VR 遊戲，動態分辨率。Nvidia 代表告訴 Tom's Hardware，後者意味著，“輸入緩衝區可以逐幀改變尺寸，而輸出尺寸保持固定。如果渲染引擎支持動態分辨率，DLSS 可用於執行所需的升級到顯示屏分辨率。” 請注意，您經常會聽到人們將原始 DLSS 2.0 和 2.1 更新都稱為“DLSS 2.0”。

DLSS 2.0 可選模式

原始 DLSS 和花哨的 DLSS 2.0 版本之間最顯著的變化之一是引入了可選的圖像質量模式：質量、平衡或性能 - 以及 2.1 的超性能。這會影響遊戲的渲染分辨率，當您瀏覽該列表時，性能會有所提高，但圖像質量會降低。

在 2.0 中，性能模式提供了最大的飛躍，將游戲從 1080p 升級到 4K。這是 4 倍放大（2 倍寬度和 2 倍高度）。平衡模式使用 3 倍放大，質量模式使用 2 倍放大。DLSS 2.1 引入的 Ultra Performance 模式使用 9 倍放大，主要用於使用RTX 3090以 8K 分辨率 (7680 x 4320) 進行遊戲。雖然它在技術上可以用於較低的目標分辨率，但升級偽影非常明顯，即使在 4K（720p升級）時​​也是如此。基本上，DLSS 看起來更好，因為它可以使用更多像素，因此雖然 720p 到 1080p 看起來不錯，但以 1080p 或更高分辨率渲染將獲得更好的最終結果。

與原始 DLSS 相比，所有這些對性能和質量有何影響？對於一個想法，我們可以求助於Control，它最初具有 DLSS 1.0，然後在發佈時獲得了 DLSS 2.0 的支持。（請記住，下圖來自 Nvidia，因此明智的做法是對它持保留態度。）

DLSS 2.0 應該帶來的改進之一是在具有移動物體的區域中具有強大的圖像質量。上面的扇形圖像中更新後的渲染看起來比使用 DLSS 1.0 的圖像要好得多，實際上看起來比關閉 DLSS 更糟糕。

DLSS 2.0 還應該在細節更微妙的圖像區域提供對標準 DLSS 的改進。

Nvidia 承諾 DLSS 2.0 將導致更大的遊戲採用率。這是因為最初的 DLSS 需要為每個需要 DLSS 支持的新遊戲訓練 AI 網絡。DLSS 2.0 使用通用網絡，這意味著它適用於所有遊戲，並根據 Nvidia 使用“非遊戲特定內容”進行訓練。

對於支持原始 DLSS 的遊戲，開發人員必須實施它，然後必須專門針對該遊戲訓練 AI 網絡。使用 DLSS 2.0，消除了後一個步驟。遊戲開發者仍然需要實現 DLSS 2.0，但應該少很多工作，因為它是一個通用的 AI 網絡。這也意味著更新 DLSS 引擎（在驅動程序中）可以提高現有遊戲的質量。虛幻引擎 4 和虛幻引擎 5 支持 DLSS 2.0，Unity 將在今年的 2021.2 更新中添加它。這使得基於這些引擎的遊戲啟用該功能變得微不足道。

DLSS 是如何工作的？

最初的 DLSS 和 DLSS 2.0 都與 Nvidia 的 NGX 超級計算機一起用於訓練各自的 AI 網絡，以及用於基於 AI 的渲染的 RTX 卡的 Tensor Cores。

對於獲得 DLSS 1.0 支持的遊戲，首先 Nvidia 必須使用 NGX 訓練 DLSS AI 神經網絡，這是一種稱為卷積自動編碼器的 AI 網絡。它首先向網絡展示了遊戲的數千個屏幕截圖，每個屏幕截圖都具有 64 倍超採樣抗鋸齒。Nvidia 還展示了未使用抗鋸齒的神經網絡圖像。然後，網絡比較了這些鏡頭，以了解如何使用較低質量的源幀來“近似質量”64 倍超採樣抗鋸齒圖像。目標是在不過多損害幀率的情況下獲得更高的圖像質量。

然後，人工智能網絡將重複此過程，並一路調整其算法，以便最終通過推理將 64 倍質量與基本質量圖像相匹配。最終結果是“抗鋸齒接近 [64x Super Sampled] 的質量，同時避免了與 TAA 相關的問題，例如全屏模糊、基於運動的模糊、重影和透明膠片上的偽影，”Nvidia 在 2018 年解釋道。

DLSS 也使用Nvidia 所稱的（在新標籤中打開）“時間反饋技術”以確保遊戲圖像中的清晰細節和“提高幀與幀的穩定性”。時間反饋是將描述圖像中對象跨幀移動的方向的運動矢量應用於原始/更高分辨率輸出的過程，因此可以提前估計下一幀的外觀。

DLSS 2.0 通過其更新的 AI 網絡獲得了速度提升，該網絡更有效地使用了 Tensor Core，從而實現了更好的幀速率並消除了對 GPU、設置和分辨率的限制。Green 團隊還表示，DLSS 2.0 僅渲染 25-50% 的像素（DLSS 2.1 Ultra Performance 模式僅渲染 11% 的像素），並使用新的時間反饋技術來獲得比原始 DLSS 更清晰的細節和更好的穩定性。

Nvidia 的 NGX 超級計算機仍然需要訓練 DLSS 2.0 網絡，這也是一個卷積自動編碼器。根據 Nvidia 的說法，其中有兩件事：“遊戲引擎渲染的低分辨率、混疊圖像”和“來自相同圖像的低分辨率、運動矢量——也由遊戲引擎生成。”

DLSS 2.0 使用這些運動向量進行時間反饋，卷積自動編碼器（或 DLSS 2.0 網絡）通過“低分辨率當前幀和高分辨率前一幀逐個像素地確定如何生成更高的高質量的當前幀，”正如 Nvidia 所說。

DLSS 2.0 網絡的訓練過程還包括將圖像輸出與以 16K 分辨率 (15360 x 8640) 離線渲染的“超高質量”參考圖像進行比較。圖像之間的差異被發送到 AI 網絡進行學習和改進。Nvidia 的超級計算機隨著時間的推移在可能數万甚至數百萬張參考圖像上反復運行此過程，從而產生訓練有素的 AI 網絡，該網絡可以可靠地生成具有令人滿意的質量和分辨率的圖像。

使用 DLSS 和 DLSS 2.0，在 AI 網絡對新遊戲的訓練完成後，NGX 超級計算機通過 GeForce Game Ready 驅動程序將 AI 模型發送到 Nvidia RTX 顯卡。從那裡，您的 GPU 可以使用其 Tensor Cores 的 AI 功能與支持的遊戲一起實時運行 DLSS 2.0。

因為 DLSS 2.0 是一種通用方法，而不是通過單個遊戲進行訓練，這也意味著 DLSS 2.0 算法的質量可以隨著時間的推移而提高，而遊戲不需要包含來自 Nvidia 的更新。更新駐留在驅動程序中，可能會影響使用 DLSS 2.0 的所有遊戲。