NVIDIA є піонером у сфері апаратного забезпечення та програмного забезпечення для штучного інтелекту, який забезпечує неймовірні прориви в кожній індустрії. NVIDIA DLSS, один з перших їх великих AI алгоритмів, був представлений п'ять років тому. Його метою було підвищення продуктивності за допомогою нейронного рендерингу, що стало можливим завдяки тензорним ядрам у кожному графічному процесорі GeForce RTX.
З моменту свого первісного запуску AI моделі, що стоять за DLSS, навчаються без зупинки, що призводить до все кращих результатів та інновацій, які додатково прискорюють продуктивність:
Сьогодні знову вдосконалюють технологію рендерингу з представленням NVIDIA DLSS 3.5, що включає Ray Reconstruction - нову модель зі штучним інтелектом, яка створює зображення з якіснішим трасуванням променів для інтенсивних ігор та додатків.
Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render, та NVIDIA Omniverse додають підтримку NVIDIA DLSS 3.5 цієї осені.
Подивіться самі переваги в цьому ексклюзивному новому погляді на Cyberpunk 2077: Phantom Liberty, візуалізованому з DLSS 3.5 та Full Ray Tracing:
"Завдяки розумній технології DLSS 3.5, підживлюваній потужністю штучного інтелекту для рендерингу, ви можете пережити Cyberpunk 2077: Phantom Liberty з більш чистими зображеннями, більш точним освітленням і максимальною частотою кадрів." - Якуб Кнапік, віцепрезидент відділу "Мистецтво", глобальний арт-директор, CD PROJEKT RED
Щоб оцінити переваги реконструкції променів, давайте розглянемо, як працює їх трасування.
По-перше, ігровий движок генерує геометрію та матеріали сцени, які мають фізичні атрибути, що впливають на їхній вигляд і на те, як світло взаємодіє з ними. Потім з точки зору камери "вистрілюється" вибірка променів, які визначають властивості джерел світла в сцені та як вона реагує, коли стикається з матеріалами. Наприклад, якщо промені потрапляють у дзеркало, виникають відображення.
ПРОБЛЕМА з DLSS до цього часу:
Відправлення променів до кожного пікселя на екрані є надто трудомістким з обчислювальної точки зору, навіть для офлайн рендерів, які обчислюють сцени протягом кількох хвилин або навіть годин. Тому використовується лише невелика частина - вистрілюється невелика кількість променів у різних точках сцени для репрезентативної вибірки освітлення, відбивної здатності та тіней у ній.
Кінцевий результат - це зашумлене, плямисте зображення з пропусками, яке, проте, достатньо добре, щоб встановити, як повинна виглядати сцена при трасуванні променів.
Щоб заповнити відсутні пікселі, які не були відстежені променями, ручні денойзери (обезшумлювачі для зображення) використовують два різні методи, тимчасово накопичуючи пікселі через кілька кадрів і інтерполюючи їх у просторі, щоб змішати з сусідніми пікселями. Через цей процес зашумлене необроблене фінальне зображення перетворюється на зображення з променевою траєкторією.
Ці денойзери налаштовуються та обробляються вручну для кожного типу променево відстежуваного освітлення в сцені, що ускладнює та ускладнює процес розробки, зменшуючи частоту кадрів у іграх з високим ступенем променевого відстеження, в яких кілька денойзерів працюють одночасно, щоб досягти максимальної якості зображення.
Кожен ручний налаштований денойзер накопичує пікселі з кількох кадрів, щоб підвищити деталі, фактично крадучи промені з минулого, але з ризиком ввести залишкові зображення (ghosting), усунути динамічні ефекти та знизити якість інших. Він також інтерполює сусідні пікселі та змішує цю інформацію разом, але знову з ризиком змішувати або занадто багато, або недостатньо детальної інформації та створювати неоднорідні світлові ефекти.
Збільшення масштабу (upscaling) є останнім етапом трубопроводу для освітлення з трасуванням променів (ray-traced lighting pipeline) і є ключовим для відтворення найдетальніших та вимогливих ігор з високою частотою кадрів. Але з усуненням або зменшенням якості ефектів, обмеження ручних денойзерів зростають, усуваючи тонкі деталі (які називаються високочастотною інформацією), які ъпскейлери використовують, щоб видавати чітке та чисте зображення.
РІШЕННЯ:
NVIDIA DLSS 3.5. Остання інновація Nvidia, Реконструкція променів (Ray Reconstruction), є частиною покращеного нейронного рендеру з штучним інтелектом, який покращує якість променевого зображення для всіх графічних процесорів GeForce RTX, замінюючи ручні налаштування денойзерів на навчану суперкомп'ютером мережу AI від NVIDIA, яка генерує пікселі з вищою якістю між дискретизованими променями.
Навчений з 5 разів більше даних ніж DLSS 3, DLSS 3.5 розпізнає різні променеві ефекти, щоб приймати більш розумні рішення щодо використання часових і просторових даних та зберігати високочастотну інформацію для високоякісного масштабування.
Реконструкція променів, навчена за допомогою офлайн рендерених зображень, які вимагають набагато більше обчислювальної потужності, ніж може бути забезпечено під час гри в реальному часі, розпізнає моделі освітлення з даних для навчання, такі як глобальне освітлення (global illumination) або оклюзія навколишнього середовища (ambient occlusion), і відтворює їх у грі під час гри. Результати кращі, ніж при використанні ручних налаштувань денойзерів.
У Portal with RTX при вимкненому DLSS денойзер бореться з просторовою інтерполяцією, при якій не змішує достатньо пікселів, створюючи ефект плям. Крім того, він не накопичує достатньо хороших пікселів з попередніх кадрів, і результатом є візуальний ефект, схожий на туман. З DLSS 3.5 він розпізнає певні моделі, пов'язані з відображеннями, і підтримує зображення стабільними, накопичуючи точні пікселі, поки змішує сусідні, щоб генерувати високоякісні відображення.
У сцені з Cyberpunk 2077 нижче, неточне освітлення фар, яке оточує автомобіль, є результатом ручного налаштування денойзера, який притягує неточні світлові ефекти з попередніх кадрів. DLSS 3.5 генерує точне освітлення, так що ви можете розрізнити промінь фар і бачити, як світло відбивається набагато реалістичніше на бордюрі перед автомобілем.
Вулиці Night City у Cyberpunk 2077 заповнені відображеннями від обертових білбордів і неонових вогнів. З активованим DLSS3.5, якість і чіткість їх значно покращується:
Творчі програми мають великий спектр контенту, який важко для традиційних денойзерів, оскільки, як ми вже згадували, вони вимагають ручного налаштування для кожної сцени. В результаті при перегляді контенту виходить неоптимальна якість зображення. З DLSS 3.5 нейронна мережа з штучним інтелектом здатна розпізнавати великий спектр сцен, створюючи високоякісні зображення під час попереднього перегляду ще до того, як буде витрачено години на остаточне рендеринг. D5 Render, провідний у галузі додаток для архітекторів і дизайнерів, буде доступний з DLSS 3.5 цієї осені.
"Інтеграція DLSS Ray Reconstruction з D5 Render позначає наше третє технічне співробітництво з NVIDIA після DLSS SR і FG, що додатково покращує якість зображення можливостей рендерингу в реальному часі D5 Render. Ми з нетерпінням чекаємо можливості дослідити більше можливостей з NVIDIA в майбутньому." - Джессі Хуанг, віце-президент, керівник маркетингу, D5 Render
З DLSS 3.5 Nvidia надає швидший і кращий досвід як безкоштовне оновлення, яке покращує вже наявні технології у ваших улюблених іграх.
Завдяки RTX ви фактично маєте потужність 2 комп'ютерів у вашому ПК або ноутбуці - перший є суперкомп'ютером NVIDIA, який навчає модель DLSS AI з мільярдами точок даних, щоб підвищити продуктивність і якість зображення. А другий - ваша графічна карта GeForce RTX, зі спеціальними тензорними ядрами для виконання AI моделі в реальному часі, плюс спеціалізовані RT ядра, інновації, такі як Shader Execution Reordering і сирова потужність кожного графічного процесора RTX, що забезпечує найкраще в класі трасування променів.
У Cyberpunk 2077 красиве повне трасування променів, забезпечене режимом Overdrive, не могло б бути досягнуто без проблем без сили AI. DLSS Super Resolution (SR) реконструює 4K зображення з такого з нижчою роздільною здатністю, забезпечуючи різке збільшення продуктивності та чудову якість зображення.
Щоб ще більше підвищити продуктивність у найвимогливіших, наповнених екшеном моментах, ми активуємо DLSS Frame Generation (FG) на графічних картах серії GeForce RTX 40, який аналізує послідовні кадри, щоб створити нові для збільшення плавності під час гри.
А тепер NVIDIA DLSS 3.5 додатково покращує якість зображення для трасування променів, замінюючи безліч ручних денойзерів на Ray Reconstruction (RR).
Поєднуючи Super Resolution, Frame Generation і Ray Reconstruction, DLSS 3.5 збільшує кількість кадрів на секунду в Cyberpunk 2077 загалом у 5 разів, порівняно з рендерингом при 4K DLSS OFF.
Зверніть увагу, що в іграх з безліччю ефектів, відстежуваних променями, може бути кілька денойзерів, які замінюються однією нейронною мережею для реконструкції променів. У цих випадках Ray Reconstruction також може підвищити продуктивність. У заголовках з менш інтенсивним трасуванням променів і меншою кількістю денойзерів Ray Reconstruction покращить якість зображення, хоча може бути незначне зниження продуктивності.
Джерело: NVIDIA
