Робин Арнотт о применении биологической обратной связи в играх

У Oculus Rift есть замечательная особенность – он заставляет игроков и разработчиков учитывать наличие настоящего тела персонажа в игре. Часто обсуждается, каким образом должно быть представлено тело аватара. Люди задумываются, будет ли проблемой видеть «своё» тело в незнакомой одежде и придумывают весьма интересные проекты, основанные на перемещении в чужие тела. Есть в данном случае и ещё одна обширная тема для обсуждений – биологическая обратная связь (далее БОС). Далее перевод интервью с Робин Арноттом от RPS.

Активность головного мозга, частота и глубина дыхания, давление, пульс – всё это можно применять для воздействия на игровой опыт и его персонализации. Разработчик Робин Арнотт (Robin Arnott) использовал БОС в своей игре Deep Sea, где звуки акваланга зависели от дыхания игрока. Сейчас он работает над SoundSelf. Это медитативное приложение, в котором управление осуществляется посредством микрофона. И хотя игроки сами выбирают, какие звуки им издавать, элементы БОС тут всё же присутствуют, потому что голос игрока позволяет оценить частоту его дыхания.

«Я впервые близко познакомился с БОС, пообщавшись на GDC со специалистом по работе мозга из Valve», – говорит Арнотт. – «Они подавали данные электрокардиографии (замер электрического потенциала на поверхности кожи, соотносящегося с сердечным ритмом) в систему AI Director, чтобы динамически настраивать игровую сложность. Это было уже давно, и тогда я подумал, что в будущем неизбежно появление контроллеров с датчиками ЭКГ и кожно-гальванической реакции (изменения в электропроводимости кожи в результате эмоциональных реакций). Они дешёвые и предоставляют любой игре кладезь персонализированной информации».

Если вы следили за подобными проектами, то должны знать про Nevermind от Эрин Рейнольдс (Erin Reynolds). Там работают похожие идеи и при увеличении пульса повышается сложность. Смысл в том, что для успешной игры вам необходимо научиться сохранять спокойствие.

«SoundSelf распознаёт звуковые волны, создаваемые игроком. «Я не рассматриваю сами звуки как данные для БОС, ведь они всегда контролируются игроком», – говорит Арнотт. – «Меня озарило, когда я понял, что для воспроизведения звуков игрокам нужно совершать выдох, а значит, я могу отслеживать и их дыхание! Я могу приблизительно определять темп и ритм дыхания игрока, а следовательно, понимать, насколько он расслаблен и погружён в происходящее».

«В каком-то смысле, сейчас в SoundSelf есть базовая система «эмоционального» искусственного интеллекта. Если вы в приподнятом настроении и полны энергии, она это поймёт. Если вы расслаблены и погружены в себя, она поймёт и это».

(Должен признать, когда лично мне довелось взглянуть на SoundSelf на прошлогодней GameCity, я настолько расслабился и ушёл в себя, что заснул. По крайней мере, для такой игры это можно считать комплиментом).

«Для меня важно, что (в отличие от той же Deep Sea) вы не контролируете свои биоритмы сознательно, и они выдают какие-то ваши особенности, позволяющие развить более тесные взаимоотношения с игрой. Это может пригодиться в обычных играх – в Left 4 Dead, к примеру – но я считаю, что дизайнеры откроют для себя куда более широкие перспективы, обратив внимание игроков внутрь, на их собственный разум».

В таких проектах Rift будет играть очень важную роль, благодаря своему влиянию на органы чувств. Арнотт выражается термином «пропускная способность» – Rift предоставляет высокую пропускную способность выходных данных, а БОС может обеспечить широкий канал для входных.

«Тут как со скоростью вашего интернета – любое соединение имеет определённую пропускную способность. Высокая пропускная способность позволяет использовать минимум сжатия, и результат близок к прямому сигналу. Низкая пропускная способность требует сильного сжатия. Например, привычные контроллеры сжимают намерение до нажатия условных кнопок и затем распаковывают его, превращая в действие на экране. Rift – это односторонний высокоскоростной кабель, подключённый напрямую к вашему восприятию (я преувеличиваю, но только слегка). Но игра требует двустороннего соединения. Кроме выходных данных должны быть и входные – их совместный танец и делает игры особенными. Так что если при широком выходном канале Rift вы пользуетесь контроллером с узким входным каналом, общая скорость соединения с игрой останется низкой. Это проблема не из простых. Но БОС существует уже сегодня, и её пропускная способность довольно высока».

Арнотт признаёт, что в качестве системы управления БОС очень ограничена из-за неэффективности выражения намерений игрока. И это справедливо – ведь большинство фиксирующейся информации игрок выдаёт непроизвольно. Процесс можно сделать более предсказуемым (к примеру, применяя техники контроля эмоций, успокаивающие дыхание и пульс), но это нельзя сравнивать с чётко обозначенными действиями, вроде прыжка по нажатию пробела.

По этой причине, когда вы сталкиваетесь с набором определённых трудностей или целей, вам необходимо управление, позволяющее надёжным способом переводить намерения в действия, а роль БОС сводится к регулированию сложности и созданию атмосферы.

Арнотт не относится к такому применению пренебрежительно, но считает, что БОС лучше проявит себя в средах, не направленных на достижение конкретных целей.

«Если взглянуть на самые популярные проекты на Oculus Share, большинство из них не будут связаны с чёткими целями. Отчасти из-за того, что американские горки и техно-демки всё ещё воспринимаются в новинку. Отчасти и из-за того, что многие дизайнерские приёмы, уже более сорока лет работающие в обычных играх, попросту не взлетают в VR. […] Элементы дизайна могут быть тихими, спокойными, едва заметными, но при этом делать игру завораживающей и увлекательной. Именно на эту область гейм-дизайне – охватывающую спокойный геймплей – БОС, по моему мнению, окажет огромное влияние».

На сегодня подавляющее большинство игр и околоигровых проектов используют БОС как средство самосовершенствования – как медитативная SoundSelf и приложения для борьбы с паническими атаками. Я поинтересовался, связано ли это с тем, что прежде БОС применялась в сугубо медицинских целях или это просто вопрос доступности технологий.

«Чтобы ЭКГ, КГР и ЭЭГ (электроэнцефалография, измерение электрической активности мозга) оказывали влияние на потребительскую культуру – в частности, видеоигры – они должны встраиваться в потребительские контроллеры. Иначе, им не уйти дальше нескольких областей, где малое количество клиентов решится потратить большое количество денег: художественные инсталляции, наука и терапия», – говорит Арнотт.

В этом году на Indiecade Night Games были представлены яркие образцы применения БОС, в виде т.н. «трансформирующих технологий», ранее засветившихся на Burning Man и курируемых изобретателем Майки Сигелом (Mikey Siegel). Они заявлены не как игры, но я всё же упомяну их в качестве примера самостоятельных идей, демонстрирующих, как можно использовать технологии для развития различных типов отношений с игроками или для персонализации игрового опыта.

Арнотт описывает Reincarnation Lounge Chairs от Алана Мэйси (Alan Macy). Это два кресла, металлические подлокотники которых следят за вашим пульсом. Каждый удар сердца сопровождается звуками из встроенного в кресло сабвуфера и миганием красной лампочки. Вы можете настроиться на свой сердечный ритм или переключиться на сердцебиение соседа. Похожим образом действует HeartSync от Майки Сигела, только там добавлено свечение вокруг человека в такт дыханию, которое замеряется ремнём на животе. Другой проект, Indra’s Net от Питера Тьердсма (Peter Tjeerdsma), изменяет цвета светодиодов в соответствии с данными ЭЭГ, демонстрируя активность мозга и, следовательно, душевное состояние.

Но такой персонализированный опыт создаёт и дополнительные проблемы. Данные, воспроизведённые вашим собственным телом, поднимут вопросы должного хранения, защиты от утери и доступа третьих лиц. Это не та информация, что может привести к потере сбережений или утечке паспортных данных. Но это сведения о вашем внутреннем мире, об эмоциональном и физиологическом состоянии, и вам может не понравиться то, как их будут использовать. К тому же, они раскрывают информацию о вашем здоровье и здесь встаёт вопрос, будут ли разработчики чувствовать моральную необходимость уведомлять игрока о выявленных аномалиях.

В конце интервью я спросил у Арнотта, что он думает о проблеме защиты личной информации.

«Хороший вопрос. Я не знаю на него ответа», – говорит Арнотт. – «Есть определённое количество личных данных, которое вы будете непроизвольно подавать системе, и потенциально людям за её пределами. Мысли ваши не прочитают, но дизайнеры и рекламщики смогут понять, например, какой контент вызывает у вас больше эмоций».

«Я считаю, что каждый должен хорошенько подумать над тем, какую информацию он может выдать таким образом. Меня не пугает утечка подобных данных, но это лично моё мнение».