Главная технология 2025 года и выставки CES – DLSS 4, которая обеспечивает многокадровое генерирование в графических процессорах Nvidia, предлагая 4-кратный прирост производительности в более чем 75 играх сразу после выхода на рынок новых графических процессоров Nvidia серии RTX 50.
Однако я видел слишком много недопонимания того, как DLSS 4 работает на самом деле. Между вводящими в заблуждение комментариями генерального директора Nvidia и радикальным изменением принципа работы DLSS нет ничего удивительного в том, что вокруг распространяется дезинформация о новой технологии о том на что она способна и о том какие ограничения она имеет.
Итак, давайте проясним ситуацию, по крайней мере, насколько это возможно, пока новые видеокарты Nvidia не появились и мы не попробовали DLSS 4 самостоятельно.
Нет, она не предсказывает будущее

Одна из главных проблем, связанных с правильным пониманием работы DLSS 4, связана с комментарием генерального директора Nvidia Дженсена Хуанга, который он сделал во время Q&A. Джарред Уолтон из Toms Hardware спросил Хуанга о том, как DLSS 4 работает на техническом уровне, и Хуанг категорически отрицал, что DLSS 4 использует интерполяцию кадров. Он сказал, что DLSS 4 предсказывает будущее, а не интерполирует прошлое. Это, конечно, громкая цитата. Жаль, что она неверна.
В прошлом Хуанг поэтично рассказывал о генерации кадров DLSS, и хотя такой подход к объяснению такой технологии, как DLSS 4, подходит для основной аудитории, он также приводит к некоторым недоразумениям в отношении того, как она работает на самом деле.
При генерации нескольких кадров в DLSS 4 используется техника, называемая интерполяцией кадров. Это та же техника, которую мы видели в DLSS 3, и ту же технику вы найдете в других инструментах генерации кадров, таких как Lossless Scaling и AMD FSR 3. Интерполяция кадров работает следующим образом: ваша видеокарта делает два кадра, а затем алгоритм вычисляет разницу между ними. Затем он генерирует кадр между ними, угадывая, как будет выглядеть промежуточный кадр, исходя из разницы между двумя отрисованными кадрами.

А в DLSS 4 используется интерполяция кадров. Были проведены некоторые ранние исследования новых методов генерации кадров – в частности, исследования Intel по экстраполяции кадров – но пока эта технология находится на ранней стадии развития. Пока я не могу поделиться некоторыми деталями, но я нашел подтверждение из нескольких источников, что DLSS 4 действительно использует интерполяцию кадров. И в этом есть смысл. Подобные инструменты рендеринга не появляются из ниоткуда, и почти всегда проходит длинный ряд исследовательских работ, прежде чем новая техника рендеринга превращается в такой востребованный продукт, как DLSS 4.
Это не отменяет того, на что способен DLSS 4. Возможно, для создания новых кадров в нем используется та же техника, что и в DLSS 3, но это не должно отвлекать вас от того, что DLSS 4 действительно может делать.
Латентность – не та проблема, о которой вы думаете.

Я понимаю, почему Nvidia не дает комментарии по использованию кадровой интерполяции в DLSS 4. Это потому, что интерполяция кадров вносит задержку. Вам нужно отрендерить два кадра, а затем выполнить интерполяцию до того, как будет показан первый кадр в последовательности, поэтому при использовании любого инструмента интерполяции кадров вы, по сути, играете с небольшой задержкой. Я видел предположение, что эти дополнительные кадры линейно увеличивают задержку, но это не так.
The Verge выразил обеспокоенность, заявив, что хочет посмотреть, как новая технология генерации кадров влияет на задержку, а TechSpot заявил, что пользователи обеспокоены тем, что многокадровый рендеринг может усугубить проблему задержки. Если генерирование одного кадра вызывает проблему с задержкой, то, конечно, генерирование трех кадров вызовет еще большую проблему с задержкой. Но это работает не так.
Вот почему так важно понимать, что DLSS 4 использует интерполяцию кадров. Идея воспроизведения с задержкой ничем не отличается от того, что DLSS 3 генерирует один дополнительный кадр, а DLSS 4 – три дополнительных кадра – процесс все равно включает рендеринг двух кадров и сравнение разницы между ними. Ваша задержка не увеличится значительно при вставке одного, двух или трех дополнительных кадров между двумя, которые были отрендерены. Независимо от количества кадров, которые вставляются между ними, задержка, добавляемая процессом интерполяции кадров, в основном одинакова.
Позвольте мне проиллюстрировать это. Допустим, вы играете в игру со скоростью 60 кадров в секунду (fps). Это означает, что между каждым кадром проходит 16,6 миллисекунды. С DLSS 3 частота кадров удвоится до 120 fps, но задержка уменьшится вдвое – до 8,3 мс. Игра выглядит более плавной, но между каждым отрисованным кадром по-прежнему проходит 16,6 мс. В DLSS 4 вы сможете увеличить частоту кадров до 240 кадров в секунду, что в четыре раза больше, но задержка снова не уменьшится до 4,2 мс. Это все те же 16,6 мс.
Это очень упрощенный взгляд на задержку в играх – есть накладные расходы на работу DLSS Frame Generation, плюс задержка, добавляемая вашим монитором и мышью, – но для понимания того, что задержка ядра не увеличивается линейно при добавлении большего количества кадров в процесс интерполяции кадров. Время между каждым отрисованным кадром не меняется. Задержка, которую вы испытываете, в значительной степени зависит от базовой частоты кадров до DLSS Frame Generation и накладных расходов, которые несет инструмент.
Digital Foundry протестировала DLSS 4, включая латентность, и обнаружила именно то, что я только что описал. Мне кажется, что большая часть дополнительной задержки все еще связана с буферизацией дополнительного кадра, но добавление последующих промежуточных кадров сопровождается относительно минимальным увеличением задержки, пишет Ричард Лидбеттер. Небольшая дополнительная задержка возникает просто из-за того, что DLSS вычисляет больше кадров между двумя уже отрендеренными, так что основное увеличение задержки при использовании DLSS 4 не сильно отличается от DLSS 3.
Проблема задержек в DLSS 4 в основном такая же, как и в DLSS 3. Если вы играете с низкой базовой частотой кадров, возникает разрыв между ощущаемой вами отзывчивостью и плавностью. В DLSS 4 этот разрыв будет более значительным, но это не означает, что в результате сильно увеличится задержка. Именно поэтому впечатляющий новый Reflex 2 от Nvidia не требуется для DLSS 4; как и в случае с DLSS 3, для работы DLSS 4 разработчикам необходимо внедрить только первую версию Reflex.
Совершенно новая модель

Разъяснение принципов работы DLSS 4 может натолкнуть вас на мысль, что в ней все то же самое, но это не так. DLSS 4 очень сильно отличается от DLSS 3, и это потому, что в ней используется совершенно другая модель ИИ и не одна. Как сообщает Nvidia, DLSS 4 запускает пять отдельных моделей ИИ для каждого рендеренного кадра при использовании суперразрешения, реконструкции лучей и генерации нескольких кадров, и все они должны выполняться за считанные миллисекунды.
В связи с тем, что DLSS 4 влечет за собой, Nvidia отказалась от предыдущей нейронной сети — CNN, и теперь использует модель трансформации зрения. В модели трансформации есть два больших изменения. Первое – это то, что называется самовниманием. Модель может отслеживать важность различных пикселей на протяжении нескольких кадров. Такая самореференция должна позволить новой модели лучше фокусироваться на проблемных областях, таких как тонкие детали с суперразрешением, на которых может появиться мерцание.
Модели трансформеров также более масштабируемы, что позволяет Nvidia добавлять в DLSS гораздо больше параметров, чем при использовании предыдущего подхода CNN. По словам компании, новая трансформаторная модель имеет в два раза больше параметров.
Я уже пару раз видел DLSS 4 в действии, но настоящую проверку эта функция пройдет после запуска графических процессоров Nvidia следующего поколения. Тогда я смогу оценить его работу в нескольких играх и сценариях, чтобы понять, как она работает. Как бы то ни было, в функции много изменений, и, судя по тому, что Nvidia сообщила на данный момент, эти изменения сделают DLSS еще лучше.
Комментарии (0)