NVIDIA является пионером в области аппаратного и программного обеспечения для искусственного интеллекта, который приводит к невероятным прорывам в каждой индустрии. NVIDIA DLSS, один из первых их крупных AI алгоритмов, был представлен пять лет назад. Его цель заключалась в повышении производительности с помощью нейронного рендеринга, что стало возможным благодаря тензорным ядрам в каждом графическом процессоре GeForce RTX.
С момента своего первоначального запуска AI модели, стоящие за DLSS, обучаются без остановки, что приводит к все более лучшим результатам и инновациям, дополнительно ускоряющим производительность:
Сегодня они снова усовершенствовали технологию рендеринга с представлением NVIDIA DLSS 3.5, включающего Ray Reconstruction - новую модель с искусственным интеллектом, которая создает изображения с более качественным трассированием лучей для интенсивных игр и приложений.
Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render и NVIDIA Omniverse добавляют поддержку NVIDIA DLSS 3.5 этой осенью.
Посмотрите сами преимущества в этом эксклюзивном новом взгляде на Cyberpunk 2077: Phantom Liberty, визуализированном с DLSS 3.5 и Full Ray Tracing:
"Благодаря интеллектуальной технологии DLSS 3.5, поддерживаемой мощью искусственного интеллекта для рендеринга, вы можете испытать Cyberpunk 2077: Phantom Liberty с более чистыми изображениями, более точным освещением и возможной максимальной частотой кадров." - Якуб Кнапик, вице-президент отдела "Искусство", глобальный арт-директор, CD PROJEKT RED
Чтобы оценить преимущества реконструкции лучей, давайте рассмотрим, как работает их трассировка.
Сначала игровой движок генерирует геометрию и материалы сцены, которые имеют физические атрибуты, влияющие на их внешний вид и на то, как свет взаимодействует с ними. Затем с точки зрения камеры "выстреливается" выборка лучей, которые определяют свойства источников света в сцене и как она реагирует, когда сталкивается с материалами. Например, если лучи ударяются о зеркало, получаются отражения.
ПРОБЛЕМА с DLSS до сих пор:
Отправка лучей к каждому пикселю экрана слишком трудоемка с вычислительной точки зрения, даже для оффлайн рендеров, которые вычисляют сцены в течение нескольких минут или даже часов. Поэтому используется только небольшая часть - выстреливается небольшое количество лучей в различных точках сцены для представительной выборки освещения, отражательной способности и теней в ней.
Конечный результат - зашумленное, пятнистое изображение с пропусками, которое, тем не менее, достаточно хорошее, чтобы установить, как должна выглядеть сцена при трассировке лучей.
Чтобы заполнить отсутствующие пиксели, которые не были прослежены лучами, вручную настроенные денойзеры (обезшумители для изображения) используют два различных метода, временно накапливая пиксели через несколько кадров и интерполируя их в пространстве, чтобы смешать с соседними пикселями. Через этот процесс зашумленный необработанный конечный вариант превращается в изображение с лучевой траекторией.
Эти денойзеры настраиваются и обрабатываются вручную для каждого типа лучевого прослеживаемого освещения в сцене, что усложняет и утяжеляет процесс разработки, снижая частоту кадров в играх с высокой степенью лучевого прослеживания, в которых множество денойзеров работают одновременно, чтобы достичь максимального качества изображения.
Каждый вручную настроенный денойзер накапливает пиксели из нескольких кадров, чтобы увеличить детали, фактически крадя лучи из прошлого, но с риском ввести остаточные изображения (ghosting), удалить динамические эффекты и снизить качество других. Он также интерполирует соседние пиксели и смешивает эту информацию вместе, но снова с риском смешивания или слишком большого, или недостаточно детализированного информации и создания неоднородных световых эффектов.
Увеличение масштаба (upscaling) является последним этапом трубопровода для освещения с трассировкой лучей (ray-traced lighting pipeline) и имеет ключевое значение для воспроизведения самых детализированных и требовательных игр с высокой частотой кадров. Но с удалением или снижением качества эффектов ограничения вручную настроенных денойзеров увеличиваются, удаляя тонкие детали (называемые высокочастотной информацией), которые ъпскейлеры используют, чтобы выводить четкое и чистое изображение.
РЕШЕНИЕ:
NVIDIA DLSS 3.5. Последняя инновация Nvidia, Реконструкция лучей (Ray Reconstruction), является частью улучшенного нейронного рендеринга с искусственным интеллектом, который улучшает качество лучевого изображения для всех графических процессоров GeForce RTX, заменяя ручные денойзеры обученной на суперкомпьютере NVIDIA AI-сетью, которая генерирует пиксели более высокого качества между дискретизированными лучами.
Обученный с в 5 раз большим количеством данных чем DLSS 3, DLSS 3.5 распознает различные лучевые эффекты, чтобы принимать более интеллектуальные решения по использованию временных и пространственных данных и сохранять высокочастотную информацию для высококачественного масштабирования.
Реконструкция лучей, обученная с помощью оффлайн рендеренных изображений, которые требуют гораздо большей вычислительной мощности, чем может быть обеспечена во время игры в реальном времени, распознает модели освещения из данных для обучения, такие как глобальное освещение (global illumination) или окклюзия окружающей среды (ambient occlusion), и воссоздает их в игре во время игры. Результаты лучше, чем при использовании ручных денойзеров.
В Portal with RTX при отключенном DLSS денойзер борется с пространственной интерполяцией, при которой не смешивает достаточно пикселей, создавая эффект пятен. Кроме того, он не накапливает достаточно хороших пикселей из предыдущих кадров, и результатом является визуальный эффект, напоминающий мираж. С DLSS 3.5 он распознает определенные модели, связанные с отражениями, и поддерживает изображения стабильными, накапливая точные пиксели, пока смешивает соседние, чтобы генерировать высококачественные отражения.
В сцене из Cyberpunk 2077 ниже неточное освещение фар, окружающих автомобиль, является результатом ручного денойзера, который привлекает неточные световые эффекты из предыдущих кадров. DLSS 3.5 генерирует точное освещение, так что вы можете различить луч фар и увидеть, как свет отражается гораздо более реалистично на бордюре перед автомобилем.
Улицы Найт Сити в Cyberpunk 2077 заполнены отражениями от вращающихся билбордов и неоновых огней. С активацией DLSS3.5 качество и четкость их значительно улучшаются:
Творческие приложения имеют большое разнообразие контента, который трудно обрабатывать традиционным денойзерам, так как, как упоминалось выше, они требуют ручной настройки для каждой сцены. В результате при просмотре контента получается неоптимальное качество изображения. С DLSS 3.5 нейронная сеть с искусственным интеллектом способна распознавать большое разнообразие сцен, создавая высококачественные изображения во время предварительного просмотра еще до того, как будут потрачены часы на окончательное рендеринг. D5 Render, ведущий в отрасли приложение для архитекторов и дизайнеров, будет доступен с DLSS 3.5 этой осенью.
"Интеграция DLSS Ray Reconstruction с D5 Render отмечает наше третье техническое сотрудничество с NVIDIA после DLSS SR и FG, что дополнительно улучшает качество изображения возможностей рендеринга в реальном времени D5 Render. Мы с нетерпением ждем возможности исследовать больше возможностей с NVIDIA в будущем." - Джесси Хуанг, вице-президент, руководитель маркетинга, D5 Render
С DLSS 3.5 Nvidia предоставляет более быстрое и лучшее впечатление в качестве бесплатного обновления, которое улучшает уже существующие технологии в ваших любимых играх.
Благодаря RTX вы фактически обладаете мощностью 2 компьютеров в вашем ПК или ноутбуке - первый это суперкомпьютер NVIDIA, который обучает модель DLSS AI с миллиардами точек данных, чтобы повысить производительность и качество изображения. А второй - ваша графическая карта GeForce RTX, со специальными тензорными ядрами для выполнения AI модели в реальном времени, плюс специализированные RT ядра, инновации такие как Shader Execution Reordering и сырая мощность каждого графического процессора RTX, обеспечивающая лучшее в классе трассировку лучей.
В Cyberpunk 2077 красивое полное трассирование лучей, обеспеченное режимом Overdrive, не могло бы быть достигнуто без силы ИИ. DLSS Super Resolution (SR) реконструирует 4K изображение из изображения с более низким разрешением, обеспечивая резкое увеличение производительности и отличное качество изображения.
Чтобы еще больше увеличить производительность в самых требовательных, насыщенных экшеном моментах, мы активируем DLSS Frame Generation (FG) на графических картах серии GeForce RTX 40, который анализирует последовательные кадры, чтобы создать новые для увеличения плавности в игре.
А теперь NVIDIA DLSS 3.5 дополнительно улучшает качество изображения для лучевых эффектов, заменяя множество вручную настроенных денойзеров на Ray Reconstruction (RR).
С комбинированием Super Resolution, Frame Generation и Ray Reconstruction, DLSS3.5 увеличивает кадры в секунду в Cyberpunk 2077 в целом в 5 раз по сравнению с рендерингом при 4K DLSS OFF.
Обратите внимание, что в играх с множеством эффектов, отслеживаемых лучами, может быть несколько денойзеров, которые заменяются одной нейронной сетью для реконструкции лучей. В этих случаях Ray Reconstruction также может повысить производительность. В заголовках с менее интенсивным трассированием лучей и меньшим количеством денойзеров Ray Reconstruction улучшит качество изображения, хотя может быть небольшое снижение производительности.
Источник: NVIDIA
