NVIDIA è un pioniere nel campo dell'hardware e del software per l'intelligenza artificiale, che guida incredibili innovazioni in ogni settore. NVIDIA DLSS, uno dei loro primi grandi algoritmi AI, è stato presentato cinque anni fa. Il suo obiettivo era aumentare le prestazioni attraverso il rendering neurale, possibile grazie ai core tensoriali in ogni GPU GeForce RTX.
Sin dal suo lancio iniziale, i modelli AI dietro DLSS si sono addestrati senza sosta, portando a risultati e innovazioni sempre migliori, che accelerano ulteriormente le prestazioni:
Oggi perfezionano nuovamente la tecnologia di rendering con il lancio di NVIDIA DLSS 3.5, che include Ray Reconstruction - un nuovo modello di intelligenza artificiale che crea immagini con tracciamento dei raggi di qualità superiore per giochi e applicazioni intensivi.
Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render, e NVIDIA Omniverse aggiungono supporto per NVIDIA DLSS 3.5 questo autunno.
Guarda tu stesso i vantaggi in questo esclusivo nuovo sguardo a Cyberpunk 2077: Phantom Liberty, visualizzato con DLSS 3.5 e Full Ray Tracing:
"Grazie alla tecnologia intelligente di DLSS 3.5, alimentata dalla potenza dell'intelligenza artificiale per il rendering, puoi vivere Cyberpunk 2077: Phantom Liberty con immagini più nitide, illuminazione più precisa e la massima frequenza di fotogrammi possibile." - Jakub Knapik, vicepresidente del dipartimento "Arte", direttore artistico globale, CD PROJEKT RED
Per apprezzare i benefici della ricostruzione dei raggi, diamo un'occhiata a come funziona il loro tracciamento.
Innanzitutto, il motore di gioco genera la geometria e i materiali della scena, che hanno attributi fisici che influenzano il loro aspetto e il modo in cui la luce interagisce con essi. Poi, dal punto di vista della telecamera, viene "sparata" un campione di raggi, che determinano le proprietà delle fonti di luce nella scena e come essa reagisce quando interagisce con i materiali. Ad esempio, se i raggi colpiscono uno specchio, si ottengono riflessi.
IL PROBLEMA con DLSS fino ad ora:
Inviare raggi a ogni pixel dello schermo è computazionalmente troppo oneroso, anche per i rendering offline che calcolano scene per diversi minuti o addirittura ore. Pertanto, viene utilizzata solo una piccola parte - vengono sparati un numero ridotto di raggi in vari punti della scena per un campione rappresentativo dell'illuminazione, della riflettività e delle ombre in essa.
Il risultato finale è un'immagine rumorosa e macchiata con lacune, che però è abbastanza buona per stabilire come dovrebbe apparire la scena con il tracciamento dei raggi.
Per riempire i pixel mancanti che non sono stati tracciati dai raggi, i denoisers (riduttori di rumore per immagini) sintonizzati manualmente utilizzano due metodi diversi, accumulando temporaneamente pixel attraverso diversi fotogrammi e interpolandoli nello spazio per mescolarli con i pixel adiacenti. Attraverso questo processo, la versione finale grezza e rumorosa si trasforma in un'immagine con traiettoria di raggi.
Questi denoisers vengono sintonizzati e trattati manualmente per ogni tipo di illuminazione tracciata da raggi nella scena, il che complica e appesantisce il processo di sviluppo, riducendo la frequenza dei fotogrammi in giochi con un alto grado di tracciamento dei raggi, in cui più denoisers lavorano contemporaneamente per ottenere la massima qualità dell'immagine.
Ogni denoiser sintonizzato manualmente accumula pixel da diversi fotogrammi per aumentare i dettagli, praticamente rubando raggi dal passato, ma con il rischio di introdurre immagini residue (ghosting), rimuovere effetti dinamici e ridurre la qualità di altri. Interpola anche pixel adiacenti e mescola queste informazioni insieme, ma di nuovo con il rischio di mescolare o troppo o troppo poco dettagliate informazioni e creare effetti di luce non omogenei.
Il ridimensionamento (upscaling) è l'ultima fase del pipeline di illuminazione con tracciamento dei raggi ed è fondamentale per riprodurre i giochi più dettagliati e impegnativi con alta frequenza di fotogrammi. Ma con la rimozione o la riduzione della qualità degli effetti, le limitazioni dei denoisers sintonizzati manualmente aumentano, rimuovendo i dettagli fini (chiamati informazioni ad alta frequenza) che gli upscalers utilizzano per produrre un'immagine chiara e nitida.
LA SOLUZIONE:
NVIDIA DLSS 3.5. L'ultima innovazione di Nvidia, Ricostruzione dei raggi (Ray Reconstruction), è parte di un rendering neurale migliorato con intelligenza artificiale, che migliora la qualità dell'immagine ray-traced per tutte le schede grafiche GeForce RTX, sostituendo i denoiser manualmente regolati con una rete AI di NVIDIA addestrata da supercomputer, che genera pixel di qualità superiore tra i raggi discretizzati.
Addestrato con 5 volte più dati rispetto a DLSS 3, DLSS 3.5 riconosce diversi effetti di luce per prendere decisioni più intelligenti sull'uso di dati temporali e spaziali e mantenere informazioni ad alta frequenza per un upscaling di alta qualità.
La ricostruzione dei raggi, addestrata utilizzando immagini renderizzate offline, che richiedono molta più potenza di calcolo di quella che può essere fornita durante il gioco in tempo reale, riconosce i modelli di illuminazione dai dati di addestramento, come l'illuminazione globale (global illumination) o l'occlusione ambientale (ambient occlusion), e li ricrea nel gioco mentre giochi. I risultati sono migliori rispetto all'uso di denoiser manualmente regolati.
In Portal with RTX con DLSS disattivato, il denoiser lotta con l'interpolazione spaziale, in cui non mescola abbastanza pixel, creando un effetto maculato. Inoltre, non accumula pixel sufficientemente buoni dai frame precedenti e il risultato è un effetto visivo simile a una foschia. Con DLSS 3.5 riconosce determinati modelli legati ai riflessi e mantiene le immagini stabili, accumulando pixel accurati mentre mescola quelli adiacenti per generare riflessi di alta qualità.
Nella scena di Cyberpunk 2077 qui sotto, l'illuminazione imprecisa dei fari che circondano l'auto è il risultato del denoiser manualmente regolato, che attrae effetti di luce imprecisi dai frame precedenti. DLSS 3.5 genera l'illuminazione corretta, così puoi distinguere il fascio dei fari e vedere come la luce si riflette in modo molto più realistico sul marciapiede davanti all'auto.
Le strade di Night City in Cyberpunk 2077 sono piene di riflessi di cartelloni rotanti e luci al neon. Attivando DLSS3.5, la qualità e la chiarezza aumentano notevolmente:
Le applicazioni creative hanno una grande varietà di contenuti, che sono difficili per i denoiser tradizionali, poiché, come accennato sopra, richiedono una regolazione manuale per ogni scena. Di conseguenza, durante la revisione dei contenuti si ottiene una qualità dell'immagine subottimale. Con DLSS 3.5, la rete neurale con intelligenza artificiale è in grado di riconoscere una grande varietà di scene, creando immagini di alta qualità durante l'anteprima prima ancora che vengano spesi ore per il rendering finale. D5 Render, un'applicazione leader nel settore per architetti e designer, sarà disponibile con DLSS 3.5 questo autunno.
"L'integrazione di DLSS Ray Reconstruction con D5 Render segna la nostra terza collaborazione tecnica con NVIDIA dopo DLSS SR e FG, che migliora ulteriormente la qualità dell'immagine delle capacità di rendering in tempo reale di D5 Render. Non vediamo l'ora di esplorare ulteriori opportunità con NVIDIA in futuro." - Jesse Huang, vicepresidente, responsabile marketing, D5 Render
Con DLSS 3.5 Nvidia offre un'esperienza più veloce e migliore come aggiornamento gratuito, che migliora le tecnologie già disponibili nei tuoi giochi preferiti.
Grazie a RTX hai praticamente il potere di 2 computer nel tuo PC o laptop - il primo è un supercomputer di NVIDIA che addestra il modello AI di DLSS con miliardi di punti dati per migliorare le prestazioni e la qualità dell'immagine. E il secondo - la tua scheda grafica GeForce RTX, con core tensor dedicati per eseguire il modello AI in tempo reale, più core RT specializzati, innovazioni come Shader Execution Reordering e la potenza grezza di ogni GPU RTX, fornendo il miglior ray tracing della categoria.
In Cyberpunk 2077 il bellissimo ray tracing completo, fornito dalla modalità Overdrive, non potrebbe essere raggiunto senza il potere dell'AI. DLSS Super Resolution (SR) ricostruisce un'immagine 4K da una con risoluzione inferiore, fornendo un drammatico aumento delle prestazioni e una qualità dell'immagine straordinaria.
Per aumentare ulteriormente le prestazioni nei momenti più esigenti e ricchi di azione, attiviamo DLSS Frame Generation (FG) sulle schede grafiche della serie GeForce RTX 40, che analizza fotogrammi consecutivi per creare nuovi fotogrammi per aumentare la fluidità del gioco.
E ora NVIDIA DLSS 3.5 migliora ulteriormente la qualità dell'immagine per gli effetti ray tracing, sostituendo numerosi denoiser regolati manualmente con Ray Reconstruction (RR).
Combinando Super Resolution, Frame Generation e Ray Reconstruction, DLSS 3.5 aumenta i fotogrammi al secondo in Cyberpunk 2077 di un totale di 5 volte rispetto al rendering a 4K DLSS OFF.
Si noti che nei giochi con numerosi effetti tracciati con raggi, potrebbero esserci diversi denoiser che vengono sostituiti da una rete neurale per la ricostruzione dei raggi. In questi casi, Ray Reconstruction può anche migliorare le prestazioni. Nei titoli con tracciamento dei raggi meno intenso e meno denoiser, Ray Reconstruction migliorerà la qualità dell'immagine, anche se potrebbe esserci una leggera diminuzione delle prestazioni.
Fonte: NVIDIA
