NVIDIA ist ein Pionier im Bereich der Hardware und Software für künstliche Intelligenz, die unglaubliche Durchbrüche in jeder Branche vorantreibt. NVIDIA DLSS, einer ihrer ersten großen KI-Algorithmen, wurde vor fünf Jahren vorgestellt. Sein Ziel war es, die Leistung mithilfe von neuronellem Rendering zu steigern, was dank der Tensor-Kerne in jedem GeForce RTX Grafikprozessor möglich ist.
Seit seiner ursprünglichen Einführung werden die KI-Modelle hinter DLSS ununterbrochen trainiert, was zu immer besseren Ergebnissen und Innovationen führt, die die Leistung zusätzlich beschleunigen:
Heute verfeinern sie erneut die Rendering-Technologie mit der Einführung von NVIDIA DLSS 3.5, die Ray Reconstruction umfasst - ein neues KI-Modell, das Bilder mit qualitativ hochwertigerer Strahlenverfolgung für intensive Spiele und Anwendungen erstellt.
Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render und NVIDIA Omniverse fügen diesen Herbst Unterstützung für NVIDIA DLSS 3.5 hinzu.
Sehen Sie selbst die Vorteile in diesem exklusiven neuen Blick auf Cyberpunk 2077: Phantom Liberty, visualisiert mit DLSS 3.5 und Full Ray Tracing:
"Dank der intelligenten Technologie von DLSS 3.5, unterstützt von der Kraft der künstlichen Intelligenz für das Rendering, können Sie Cyberpunk 2077: Phantom Liberty mit klareren Bildern, präziserer Beleuchtung und der höchstmöglichen Bildrate erleben." - Jakub Knapik, Vizepräsident der Abteilung "Kunst", globaler Art Director, CD PROJEKT RED
Um die Vorteile der Strahlenrekonstruktion zu schätzen, lassen Sie uns betrachten, wie das Strahlenverfolgen funktioniert.
Zuerst generiert die Spiel-Engine die Geometrie und Materialien der Szene, die physikalische Attribute haben, die ihr Aussehen und die Art und Weise, wie Licht mit ihnen interagiert, beeinflussen. Dann wird aus der Perspektive der Kamera eine Probe von Strahlen "abgeschossen", die die Eigenschaften der Lichtquellen in der Szene bestimmen und wie sie reagieren, wenn sie auf Materialien treffen. Zum Beispiel, wenn die Strahlen auf einen Spiegel treffen, entstehen Reflexionen.
PROBLEM mit DLSS bisher:
Das Senden von Strahlen zu jedem Pixel auf dem Bildschirm ist rechnerisch zu aufwendig, selbst für Offline-Renderings, die Szenen über mehrere Minuten oder sogar Stunden berechnen. Daher wird nur ein kleiner Teil verwendet - es werden nur wenige Strahlen an verschiedenen Punkten der Szene abgefeuert, um eine repräsentative Probe des Lichts, der Reflexionsfähigkeit und der Schatten darin zu erhalten.
Das Endergebnis ist ein rauschendes, fleckiges Bild mit Lücken, das jedoch gut genug ist, um festzustellen, wie die Szene beim Strahlenverfolgen aussehen sollte.
Um die fehlenden Pixel, die nicht von den Strahlen verfolgt wurden, zu füllen, verwenden die manuell eingestellten Denoiser (Bildrauschunterdrücker) zwei verschiedene Methoden, indem sie Pixel über mehrere Frames temporär ansammeln und sie im Raum interpolieren, um sie mit benachbarten Pixeln zu mischen. Durch diesen Prozess wird die rauschende unbearbeitete Endversion in ein Bild mit Strahlenverfolgung umgewandelt.
Diese Denoiser werden manuell für jeden Typ von strahlenverfolgendem Licht in der Szene eingestellt und verarbeitet, was den Entwicklungsprozess kompliziert und belastet, wodurch die Bildrate in Spielen mit hohem Strahlenverfolgen verringert wird, in denen mehrere Denoiser gleichzeitig arbeiten, um die bestmögliche Bildqualität zu erreichen.
Jeder manuell eingestellte Denoiser sammelt Pixel aus mehreren Frames, um die Details zu erhöhen, indem er praktisch Strahlen aus der Vergangenheit "stiehlt", jedoch mit dem Risiko, Geisterbilder (Ghosting) einzuführen, dynamische Effekte zu entfernen und die Qualität anderer zu verringern. Er interpoliert auch benachbarte Pixel und mischt diese Informationen zusammen, jedoch erneut mit dem Risiko, entweder zu viel oder zu wenig detaillierte Informationen zu mischen und ungleichmäßige Lichteffekte zu erzeugen.
Das Hochskalieren (Upscaling) ist der letzte Schritt in der Pipeline für strahlenverfolgendes Licht und ist entscheidend für die Wiedergabe der detailliertesten und anspruchsvollsten Spiele mit hoher Bildrate. Aber mit der Entfernung oder Reduzierung der Qualität der Effekte nehmen die Einschränkungen der manuell eingestellten Denoiser zu, indem sie feine Details (die als hochfrequente Informationen bezeichnet werden) entfernen, die Upscaler verwenden, um ein klares und sauberes Bild zu erzeugen.
DIE LÖSUNG:
NVIDIA DLSS 3.5. Die neueste Innovation von Nvidia, Ray Reconstruction, ist Teil eines verbesserten neuronalen Renderings mit künstlicher Intelligenz, das die Qualität der Strahlendarstellung für alle Grafikprozessoren GeForce RTX verbessert, indem es manuell abgestimmte Denoiser durch ein von einem Supercomputer trainiertes NVIDIA AI-Netzwerk ersetzt, das qualitativ hochwertigere Pixel zwischen den diskretisierten Strahlen generiert.
Trainiert mit 5-mal mehr Daten als DLSS 3, erkennt DLSS 3.5 verschiedene Strahleneffekte, um intelligentere Entscheidungen über die Nutzung von zeitlichen und räumlichen Daten zu treffen und hochfrequente Informationen für qualitativ hochwertiges Upscaling zu bewahren.
Die Ray Reconstruction, die mit offline gerenderten Bildern trainiert wurde, die viel mehr Rechenleistung erfordern, als während des Echtzeitspielens bereitgestellt werden kann, erkennt die Lichtmuster aus den Trainingsdaten, wie z.B. globale Beleuchtung oder Umgebungsokklusion, und rekonstruiert sie im Spiel, während Sie spielen. Die Ergebnisse sind besser als bei der Verwendung von manuell abgestimmten Denoisern.
In Portal with RTX, wenn DLSS deaktiviert ist, kämpft der Denoiser mit der räumlichen Interpolation, bei der er nicht genügend Pixel mischt, was einen Flecken-Effekt erzeugt. Außerdem sammelt er nicht genügend gute Pixel aus vorherigen Frames, und das Ergebnis ist ein visueller Effekt, der an Dunst erinnert. Mit DLSS 3.5 erkennt er bestimmte Muster, die mit Reflexionen verbunden sind, und hält die Bilder stabil, indem er präzise Pixel ansammelt, während er benachbarte mischt, um qualitativ hochwertige Reflexionen zu erzeugen.
In der Szene aus Cyberpunk 2077 unten ist die ungenaue Beleuchtung der Scheinwerfer, die das Auto umgibt, das Ergebnis des manuell abgestimmten Denoisers, der ungenaue Lichteffekte aus vorherigen Frames anzieht. DLSS 3.5 erzeugt die Beleuchtung genau, sodass Sie den Strahl der Scheinwerfer unterscheiden und sehen können, wie das Licht viel realistischer auf dem Bordstein vor dem Auto reflektiert wird.
Die Straßen von Night City in Cyberpunk 2077 sind mit Reflexionen von rotierenden Billboards und Neonlichtern gefüllt. Mit aktivem DLSS3.5 wird die Qualität und Klarheit erheblich verbessert:
Kreative Anwendungen haben eine große Vielfalt an Inhalten, die für traditionelle Denoiser schwierig sind, da sie, wie oben erwähnt, eine manuelle Anpassung für jede Szene erfordern. Infolgedessen erhält man bei der Vorschau von Inhalten eine suboptimale Bildqualität. Mit DLSS 3.5 ist das neuronale Netzwerk mit künstlicher Intelligenz in der Lage, eine große Vielfalt von Szenen zu erkennen und qualitativ hochwertige Bilder während der Vorschau zu erstellen, noch bevor Stunden für das endgültige Rendering aufgewendet werden. D5 Render, eine branchenführende Anwendung für Architekten und Designer, wird diesen Herbst mit DLSS 3.5 verfügbar sein.
"Die Integration von DLSS Ray Reconstruction mit D5 Render markiert unsere dritte technische Zusammenarbeit mit NVIDIA nach DLSS SR und FG, die die Bildqualität der Echtzeit-Rendering-Fähigkeiten von D5 Render weiter verbessert. Wir freuen uns darauf, in Zukunft weitere Möglichkeiten mit NVIDIA zu erkunden." - Jessie Huang, Vizepräsident, Marketing-Leiter, D5 Render
Mit DLSS 3.5 bietet Nvidia ein schnelleres und besseres Erlebnis als kostenloses Upgrade, das die bereits vorhandenen Technologien in Ihren Lieblingsspielen verbessert.
Dank RTX haben Sie praktisch die Leistung von 2 Computern in Ihrem PC oder Laptop - der erste ist ein Supercomputer von NVIDIA, der das DLSS AI-Modell mit Milliarden von Datenpunkten trainiert, um die Leistung und die Bildqualität zu steigern. Und der zweite ist Ihre GeForce RTX-Grafikkarte, mit speziellen Tensor-Kernen zur Ausführung des AI-Modells in Echtzeit, plus spezialisierten RT-Kernen, Innovationen wie Shader Execution Reordering und die rohe Leistung jedes RTX-Grafikprozessors, die das Beste in der Klasse beim Raytracing bietet.
In Cyberpunk 2077 könnte das wunderschöne vollständige Raytracing, das vom Overdrive-Modus bereitgestellt wird, nicht reibungslos erreicht werden, ohne die Kraft der KI. DLSS Super Resolution (SR) rekonstruiert ein 4K-Bild aus einem solchen mit niedrigerer Auflösung und sorgt für einen drastischen Anstieg der Leistung und eine großartige Bildqualität.
Um die Leistung in den anspruchsvollsten, actiongeladenen Momenten weiter zu steigern, aktivieren wir DLSS Frame Generation (FG) auf den Grafikkarten der GeForce RTX 40-Serie, die aufeinanderfolgende Frames analysiert, um neue zu erstellen und die Spielglätte zu erhöhen.
Und jetzt verbessert NVIDIA DLSS 3.5 zusätzlich die Bildqualität für Ray-Tracing-Effekte, indem es mehrere manuell abgestimmte Denoiser durch Ray Reconstruction (RR) ersetzt.
Durch die Kombination von Super Resolution, Frame Generation und Ray Reconstruction erhöht DLSS 3.5 die Bilder pro Sekunde in Cyberpunk 2077 insgesamt um das Fünffache im Vergleich zum Rendering bei 4K DLSS OFF.
Bitte beachten Sie, dass in Spielen mit mehreren Effekten, die mit Ray-Tracing verfolgt werden, mehrere Denoiser durch ein neuronales Netzwerk zur Ray-Rekonstruktion ersetzt werden können. In diesen Fällen kann Ray Reconstruction auch die Leistung steigern. In Titeln mit weniger intensiven Ray-Tracing-Anwendungen und weniger Denoisern wird Ray Reconstruction die Bildqualität verbessern, obwohl es zu einem leichten Rückgang der Leistung kommen kann.
Quelle: NVIDIA
