Загадки человеческого зрения: зачем нам 60 FPS

Одна из самых злободневных тем, которая постоянно всплывает в игровой и видео-индустрии – какую скорость передачи кадров можно считать оптимальной. По одну сторону баррикад стоят поборники традиций, которые считают, что 24 кадра в секунду для фильмов и 30 кадров в секунду для игр – это магические числа, и превышать эти значения нет никакого смысла. С другой стороны, существует масса объективных свидетельств несостоятельности этой теории, и целая армия квакеров употребляющих seta sv_fps “120”.

В этой статье авторства Саймона Кука из Microsoft Xbox Advanced Technology Group мы постараемся объяснить, почему человеческому глазу приятнее более высокая скорость передачи кадров.

***

Обсуждение этого вопроса может быть немного проблематичным, так как человеческий глаз представляет собой невероятно сложный инструмент, который производит независимую обработку изображения еще до того, как сигнал достигнет мозга. Нам нравится думать, что то, что мы видим, является непреложной истиной, и вся наша визуальная система построена на этом утверждении. Тем не менее, это заблуждение. Чувствительность глаза к цвету, движению, свету и ускорению/замедлению уникальна для каждого человека. Ситуация еще больше осложняется тем фактом, что мы часто сравниваем наши глаза с камерами и говорим о зрении так же, как если бы мы говорили о компьютерной графике, однако ни одна из этих аналогий не описывает истинных процессов, которые позволяют глазам получать и обрабатывать информацию. На сайте представлен короткий ролик, который показывает разницу между 60 и 30 кадрами в секунду при разной скорости движения объекта.

При всем при этом, если человеку предоставляется возможность поиграть в игру с более высокой скоростью передачи кадров, он ей непременно воспользуется. Порой предпочтение отдается скорости передачи кадров даже выше 60 кадров в секунду (60 Гц); все зависит от множества потенциальных причин, включая жанр игры, ее графику, технические особенности и скорость геймплея.

Теория Саймона Кука заключается в том, что подобное предпочтение высокой скорости передачи кадров объясняется одним интересным механическим аспектом нашего зрения: даже если зафиксировать взгляд на одной неподвижной точке, сетчатка все равно не будет полностью неподвижной. Колебания сетчатки, которые в научных кругах называют микротремором глаза, происходят со средней частотой 83,68 Гц, а область сдвига составляет примерно 150-250 нм, что примерно соответствует размеру 1-3 фоторецепторов в сетчатке.

В чем смысл этих колебаний? Кук считает, что ему это известно. Легкое колебание сетчатки помогает вам увидеть одну и ту же сцену с двух немного разных ракурсов. Между тем, в самом глазе существует два разных типа ганглионарных клеток сетчатки: клетки с on-центром, которые откликаются, когда центр рецепторного поля освещен, и клетки с off-центром, которые откликаются, когда центр рецепторного поля не освещен.

Благодаря колебаниям сетчатки свет попадает как на клетки с on-центром, так и на клетки с off-центром, стимулируя оба типа клеток. Кук считает, что это улучшает нашу способность видеть очертания объектов. По словам ученого, все это также как-то связано с эффектом «зловещей долины».

Если теория Кука верна, это значит, что человеческая сетчатка увеличивает разрешение окружающего мира, как и видеокарты и игровые консоли, которые используют внутренние ресурсы для создания более четкой картинки, которую они затем выдают на дисплей. Представленное ниже изображение является примером того, как несколько вариантов изображения из одного источника при объединении дают более качественные результаты.

Но эта возможность извлекать дополнительную информацию из увиденного зависит от того, с какой скоростью нам подается информация. Если частота выборки (30 Гц, 30 кадров в секунду) ниже половины частоты микротремора сетчатки, то изображения не сменяются достаточно быстро, чтобы глаз мог извлечь дополнительную информацию.

Если вы следите за полемикой в области так называемого микро-«заикания» и задержки кадров в играх, то знаете, что одна из причин, по которой микро-«заикание» является менее интуитивным объективным показателем производительности по сравнению со скоростью передачи кадров, – это снижение преимущества более низкого времени смены кадров по мере того, как постоянная скорость передачи кадров приближается к 60 кадрам в секунду. Уменьшение задержки кадров с 33,3 мс (30 кадров в секунду) до 25 мс (40 кадров в секунду) более заметно, чем увеличение количества кадров в секунду с 40 до 60, и это несмотря на то, что во втором случае происходит более значительный сдвиг.

Если Кук прав, этот феномен объясняется тем, что собственная супер-разрешающая способность глаза наиболее эффективно работает на отметке примерно 43 кадра в секунду. Еще одним интересным аспектом наблюдений ученого является то, что более высокая скорость передачи кадров при более низком разрешении может обеспечить лучшие результаты, чем популярный в наши дни показатель 1080p @ 30 fps. Поверят ли в это разработчики или нет – пока что вопрос открытый. Большинство тайтлов для Xbox не смогли добиться показателя 1080p @ 30 fps и предпочли остановиться на 900p, нежели опускаться до свойственного прошлому поколению показателя 720p.

Если вы хотите увидеть наглядное сравнение картинки при 60 и 30 кадрах в секунду, посетите специальный веб-сайт (30vs60.com закрыт), где выложено по паре игровых сцен в формате MP4. Это не YouTube-ролики, и мы подтверждаем, что видео слева действительно имеет частоту 30 кадров в секунду, а видео справа – 60 кадров в секунду.

К сожалению, пока нет никаких признаков того, что исследования Кука будут использованы в игровой индустрии, даже если их подвергнут тщательному анализу. Игровая индустрия зациклена на разрешении, а не на скорости передачи кадров, и если показатель 720p @ 60 fps в наше время политически недееспособен, то практически нет надежды на то, что показатель 1080p @ 60 fps (в противоположность 4K @ 30 fps) имеет больше шансов на жизнь в будущих игровых продуктах. Конечно, у игр на ПК есть преимущество, так как перечисленные выше режимы там доступны, однако для их использования могут потребоваться довольно мощные видеокарты. ПК-мониторы с активированной вертикальной синхронизацией поддерживают только частоту обновления экрана 60 Гц, но если скорость передачи кадров в игре упадет, то монитор автоматически снизит частоту обновления до 30 Гц или 20 Гц. Таким образом, панели с частотой обновления 120 Гц могут скомпенсировать падение частоты обновления и положительным образом использовать возможности нашей сетчатки.

Подобные исследования и понимание человеческой физиологии могут сыграть важную роль в попытках извлечь максимум из возможностей нашего зрения. Новое поколение умных контактных линз, приборы ночного видения, периферийные устройства типа Oculus Rift – существует масса крупных исследовательских проектов, которые посвящены беспрецедентному взаимодействию технологий и человеческого зрения. Я считаю, что самыми жизнеспособными окажутся те проекты, которые будут максимально приближены к природным навыкам наших глаз и смогут наиболее точно имитировать функции человеческого зрения.