NVIDIA est un pionnier dans le domaine du matériel et des logiciels d'intelligence artificielle, qui propulse des percées incroyables dans chaque industrie. NVIDIA DLSS, l'un de leurs premiers grands algorithmes d'IA, a été présenté il y a cinq ans. Son objectif était d'améliorer les performances grâce au rendu neuronal, rendu possible grâce aux cœurs tensoriels dans chaque processeur graphique GeForce RTX.
Depuis son lancement initial, les modèles d'IA derrière DLSS s'entraînent sans relâche, ce qui conduit à des résultats de plus en plus performants et à des innovations qui accélèrent encore les performances :
Aujourd'hui, ils perfectionnent à nouveau la technologie de rendu avec le lancement de NVIDIA DLSS 3.5, incluant Ray Reconstruction - un nouveau modèle d'intelligence artificielle qui crée des images avec un traçage de rayons de meilleure qualité pour des jeux et applications intensifs.
Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render, et NVIDIA Omniverse ajoutent le support de NVIDIA DLSS 3.5 cet automne.
Découvrez par vous-même les avantages dans ce nouveau regard exclusif sur Cyberpunk 2077: Phantom Liberty, visualisé avec DLSS 3.5 et Full Ray Tracing:
"Grâce à la technologie intelligente de DLSS 3.5, alimentée par la puissance de l'intelligence artificielle pour le rendu, vous pouvez vivre Cyberpunk 2077: Phantom Liberty avec des images plus nettes, un éclairage plus précis et un taux de rafraîchissement aussi élevé que possible." - Jakub Knapik, vice-président du département "Art", directeur artistique mondial, CD PROJEKT RED
Pour apprécier les avantages de la reconstruction de rayons, examinons comment le traçage fonctionne.
Tout d'abord, le moteur de jeu génère la géométrie et les matériaux de la scène, qui ont des attributs physiques influençant leur apparence et la manière dont la lumière interagit avec eux. Ensuite, depuis le point de vue de la caméra, un échantillon de rayons est "tiré", déterminant les propriétés des sources de lumière dans la scène et comment elle réagit lorsqu'elle entre en contact avec les matériaux. Par exemple, si les rayons frappent un miroir, des réflexions se produisent.
LE PROBLÈME avec DLSS jusqu'à présent :
Envoyer des rayons à chaque pixel de l'écran est trop coûteux en termes de calcul, même pour des rendus hors ligne qui calculent des scènes pendant plusieurs minutes, voire des heures. C'est pourquoi seule une petite partie est utilisée - un faible nombre de rayons est tiré à différents points de la scène pour un échantillonnage représentatif de l'éclairage, de la capacité de réflexion et des ombres dans celle-ci.
Le résultat final est une image bruitée et tachetée avec des lacunes, qui est cependant suffisamment bonne pour établir à quoi la scène devrait ressembler lors du traçage de rayons.
Pour remplir les pixels manquants qui n'ont pas été suivis par les rayons, les débruiteurs réglés manuellement (débruiteurs d'image) utilisent deux méthodes différentes, accumulant temporairement des pixels sur plusieurs images et les interpolant dans l'espace pour les mélanger avec les pixels voisins. Grâce à ce processus, la version brute bruitée finale se transforme en une image avec trajectoire de rayons.
Ces débruiteurs sont réglés et traités manuellement pour chaque type d'éclairage suivi par rayons dans la scène, ce qui complique et alourdit le processus de développement, réduisant le taux de rafraîchissement dans les jeux avec un haut degré de traçage de rayons, où plusieurs débruiteurs fonctionnent simultanément pour atteindre la meilleure qualité d'image.
Chaque débruiteur réglé manuellement accumule des pixels de plusieurs images pour augmenter les détails, en volant pratiquement des rayons du passé, mais avec le risque d'introduire des images résiduelles (ghosting), de supprimer des effets dynamiques et de réduire la qualité d'autres. Il interpole également les pixels voisins et mélange cette information ensemble, mais encore une fois avec le risque de mélanger soit trop, soit pas assez d'informations détaillées et de créer des effets lumineux inhomogènes.
L'augmentation de l'échelle (upscaling) est la dernière étape du pipeline d'éclairage avec traçage de rayons et est cruciale pour reproduire les jeux les plus détaillés et exigeants avec un taux de rafraîchissement élevé. Mais avec la suppression ou la réduction de la qualité des effets, les limitations des débruiteurs réglés manuellement augmentent, supprimant les détails fins (appelés informations haute fréquence) que les upscalers utilisent pour produire une image claire et nette.
LA SOLUTION :
NVIDIA DLSS 3.5. La dernière innovation de Nvidia, la Reconstruction de rayons (Ray Reconstruction), fait partie d'un rendu neuronal amélioré avec intelligence artificielle, qui améliore la qualité de l'image raytracée pour tous les processeurs graphiques GeForce RTX, en remplaçant les dénoisers réglés manuellement par un réseau AI de NVIDIA entraîné par superordinateur, qui génère des pixels de meilleure qualité entre les rayons discrétisés.
Entraîné avec 5 fois plus de données que DLSS 3, DLSS 3.5 reconnaît différents effets de rayons pour prendre des décisions plus intelligentes sur l'utilisation des données temporelles et spatiales et pour conserver des informations haute fréquence pour un redimensionnement de haute qualité.
La reconstruction de rayons, entraînée à l'aide d'images rendues hors ligne qui nécessitent beaucoup plus de puissance de calcul que ce qui peut être fourni pendant le jeu en temps réel, reconnaît les modèles d'éclairage à partir des données d'entraînement, tels que l'éclairage global (global illumination) ou l'occlusion ambiante (ambient occlusion), et les recrée dans le jeu pendant que vous jouez. Les résultats sont meilleurs que ceux obtenus avec des dénoisers réglés manuellement.
Dans Portal with RTX avec DLSS désactivé, le dénoiser lutte avec l'interpolation spatiale, où il ne mélange pas suffisamment de pixels, créant un effet de tache. De plus, il ne cumule pas suffisamment de bons pixels des images précédentes et le résultat est un effet visuel ressemblant à de la brume. Avec DLSS 3.5, il reconnaît certains modèles liés aux réflexions et maintient les images stables, en accumulant des pixels précis tout en mélangeant les voisins pour générer des réflexions de haute qualité.
Dans la scène de Cyberpunk 2077 ci-dessous, l'éclairage inexact des phares entourant la voiture est le résultat du dénoiser réglé manuellement, qui attire des effets lumineux inexactes des images précédentes. DLSS 3.5 génère un éclairage précis, vous permettant de distinguer le faisceau des phares et de voir comment la lumière se reflète de manière beaucoup plus réaliste sur le trottoir devant la voiture.
Les rues de Night City dans Cyberpunk 2077 sont remplies de réflexions de panneaux publicitaires tournants et de lumières néon. Avec DLSS3.5 activé, leur qualité et leur clarté s'améliorent considérablement :
Les applications créatives ont une grande variété de contenu qui est difficile pour les dénoisers traditionnels, car, comme mentionné ci-dessus, ils nécessitent un réglage manuel pour chaque scène. En conséquence, lors de l'aperçu du contenu, une qualité d'image sous-optimale est obtenue. Avec DLSS 3.5, le réseau neuronal avec intelligence artificielle est capable de reconnaître une grande variété de scènes, créant des images de haute qualité lors de l'aperçu avant même que des heures ne soient consacrées au rendu final. D5 Render, une application de premier plan pour architectes et designers, sera disponible avec DLSS 3.5 cet automne.
"L'intégration de DLSS Ray Reconstruction avec D5 Render marque notre troisième collaboration technique avec NVIDIA après DLSS SR et FG, ce qui améliore encore la qualité de l'image des capacités de rendu en temps réel de D5 Render. Nous sommes impatients d'explorer davantage de possibilités avec NVIDIA à l'avenir." - Jesse Huang, vice-président, responsable marketing, D5 Render
Avec DLSS 3.5, Nvidia offre une expérience plus rapide et meilleure en tant que mise à niveau gratuite, qui améliore les technologies déjà disponibles dans vos jeux préférés.
Grâce à RTX, vous disposez pratiquement de la puissance de 2 ordinateurs dans votre PC ou votre ordinateur portable - le premier est un superordinateur de NVIDIA qui entraîne le modèle AI DLSS avec des milliards de points de données pour améliorer les performances et la qualité de l'image. Et le second - votre carte graphique GeForce RTX, avec des cœurs tensoriels dédiés pour exécuter le modèle AI en temps réel, plus des cœurs RT spécialisés, des innovations comme le Shader Execution Reordering et la puissance brute de chaque processeur graphique RTX, offrant le meilleur de la classe en matière de raytracing.
Dans Cyberpunk 2077, le magnifique raytracing complet, fourni par le mode Overdrive, n'aurait pas pu être réalisé sans la puissance de l'IA. DLSS Super Resolution (SR) reconstruit une image 4K à partir d'une image de résolution inférieure, offrant une augmentation drastique des performances et une qualité d'image incroyable.
Pour augmenter encore plus les performances dans les moments les plus exigeants et remplis d'action, nous activons la génération de trames DLSS (FG) sur les cartes graphiques de la série GeForce RTX 40, qui analyse des images consécutives pour créer de nouvelles images afin d'augmenter la fluidité du jeu.
Et maintenant, NVIDIA DLSS 3.5 améliore encore la qualité de l'image pour les effets de ray tracing, en remplaçant de nombreux débruiteurs réglés manuellement par la reconstruction de rayons (RR).
En combinant la Super Résolution, la Génération de Trames et la Reconstruction de Rayons, DLSS 3.5 augmente les images par seconde dans Cyberpunk 2077 au total de 5 fois, par rapport au rendu en 4K DLSS OFF.
Veuillez noter que dans les jeux avec de nombreux effets, suivis par rayons, il peut y avoir plusieurs débruiteurs qui sont remplacés par un réseau neuronal pour la reconstruction de rayons. Dans ces cas, la Reconstruction de Rayons peut également améliorer les performances. Dans les titres avec un traçage de rayons moins intensif et moins de débruiteurs, la Reconstruction de Rayons améliorera la qualité de l'image, bien qu'il puisse y avoir une légère baisse des performances.
Source : NVIDIA
