Как начать работать с Motion Capture

Закройте глаза и вернитесь… вернитесь в прошлое. Представьте Джа Джа Бинкса и «Полярный экспресс», подверженных эффекту «зловещей долины». Я знаю, что воспоминания не из приятных, но новые технологии (и захват движений – motion capture или сокращённо mocap – в их числе) могут быть… несколько странными в свои ранние годы. Теперь же забудем об этом и продвинемся вперёд – во времена, когда технология стала набирать обороты – от Голлума из «Властелина колец» до «Аватара» и Халка из «Мстителей». И про игры не забудем: в The Last of Us проделана самая впечатляющая работа с mocap-анимацией, а Electronic Arts использует её ещё с Madden NFL 94. Но что же представляет из себя данный метод и как он работает? Способен ли motion capture заменить живых актёров или оставить 3D-аниматоров без работы? Для ответа на эти вопросы мы отправимся на 100 лет назад.

Что это такое?

Вы, вероятно, представляете себе motion capture как актёров, скачущих в обтягивающей одежде с прикрепленными теннисными шариками. Но что же всё это значит? Проще говоря: авторы фильма или игры переносят все движения тела (и лица) актёра на анимированного персонажа. Участие компьютера в процессе по большому счёту и не требуется. В 1914 аниматор Макс Фляйшер (Max Fleischer) изобрёл «ротоскопию» – метод создания мультфильмов с помощью покадрового отслеживания действий актёров. Первым мультфильмом с ротоскопией в 1937 стала диснеевская «Белоснежка и семь гномов».

Даже при том, что аниматоры рисуют все движения персонажей от руки, они сравнивают картинку с игрой актёров на плёнке или даже глядя на себя в зеркало.

Ручное создание цифровой анимации называется анимацией по ключевым кадрам – при этом заполняются недостающие движения между «ключевыми» позами персонажа.

Для автоматизации процесса аниматоры обратились к motion capture. Исследователи биокинетики, например, Том Калверт (Tom Calvert) из Университета Саймона Фрейзера, открыли новые возможности с применением специальных костюмов. Одна компания создала устройство для захвата движений лиц и тела «Waldo» (на картинке выше), использующееся для управления аватаром нинтендовского Марио, общающимся с публикой на выставках. Между тем, Массачусетский технологический институт разработал свою «графическую марионетку» на основе LED – одну из первых технологий оптического отслеживания движений. Одним из первых её применений стал ужасный видеоклип Dozo от фирмы-первопроходчика Kleiser-Walczak (на видео ниже).

Поначалу захват движений был исключительно студийным процессом и актёры работали в пустой комнате, окружённой специальными камерами и лампами. «Аватар» явил нам «performance capture» («захват актёрской игры»), при котором совместно работали несколько актёров и захватывались выражения их лиц и движения губ. В играх наподобие L.A. Noire степень реализма также значительно повышается за счёт параллельного захвата движений лица и всего тела.

А создатели «Властелина колец» в своё время вынесли motion capture за пределы студии, что позволило Энди Серкису (Andy Serkis) взаимодействовать с другими актёрами в роли Голлума. В наши дни захват движений (в том числе и лица) прямо на съёмочной площадке стал нормой в производстве художественных фильмов с оцифрованными персонажами, как это видно ниже на примере съёмок картины «Планета обезьян: Революция» (да, тут у нас снова Серкис – он довольно популярен).

Как это работает?

Motion capture передаёт движения актёра персонажу, созданному на компьютере. Системы, которые для их отслеживания используют камеры (с маркерами или же без них), условно называют «оптическими», а замеряющие инерцию или механические движения – «не оптическими». В качестве примера вторых можно привести костюм захвата инерции XSens MVN, в котором работал Сет Роган (Seth Rogan) в роли инопланетянина Пола. Позже появились и другие системы, такие как оптический отслеживатель пальцев Leap Motion и браслет MYO, распознающий мышечную активность запястья и всей руки. Project Tango от Google используется преимущественно для построения виртуальных трёхмерных пространств, но благодаря Kinect-подобному сенсору обладает потенциалом и для захвата движений.

Оптические системы замеряют положение позиционных маркеров или отличительных элементов и на основании полученных данных создают приблизительную трёхмерную модель движений актёра. Активные системы используют горящие или мерцающие лампочки, а пассивные работают с инертными объектами, вроде белых шариков или просто точек, нанесённых краской (так часто делают при захвате движений лица). В безмаркерных системах используются алгоритмы распознавания, которые отслеживают положение каких-либо отличительных элементов – например, одежда актёра или его нос. Захваченные движения переносятся на виртуальный «скелет» анимированного персонажа такими программами, как MotionBuilder от Autodesk. Что в результате? Компьютерные персонажи с движениями живых актёров.

Сложно предугадать, как живые движения будут выглядеть на виртуальном персонаже, так что нередко используется придуманная Джеймсом Кэмероном (James Cameron) для «Аватара» так называемая «виртуальная кинематография». По сути, она в реальном времени отображает движения актёра на его персонаже – в виртуальной среде – так что режиссёр может сразу наблюдать сырую версию «актёрской игры». Такой процесс требует интенсивных вычислений, но в наши дни процессоры и видеокарты уже достаточно мощные, чтобы справиться с ними. Приведённый ниже ролик от Weta Digital наглядно демонстрирует процесс на примере фильма «Хоббит: Пустошь Смауга».

Во сколько всё это обходится?

Всё, что связано с 3D-анимацией, дешёвым не назовёшь, и захват движений не исключение. Но при этом все цифровые технологии со временем становятся дешевле. Если рассматривать самые простые варианты, то для дома мы с вами можем позволить себе безмаркерную систему отслеживания – будь то Kinect или iPi Motion Capture – приблизительно за $295. На противоположном краю ценового диапазона можно обнаружить новую студию EA, Capture Lab (на фото ниже), покрывающую 1600 квадратных метров и оснащённую новейшим программным обеспечением Vicon Blade и 132 камерами Vicon. Мы не знаем, сколько именно это стоит, но двухкамерная система Vicon вместе с одной лицензией на ПО обходится в $12500 (держите в уме, что вам ещё понадобится софт вроде MotionBuilder для переноса захваченных данных на персонажа – а это ещё плюс $4200 за копию для каждого сотрудника). Несмотря на такие цифры, захват движений обходится примерно в четверть или в половину затрат, необходимых на анимацию по ключевым кадрам, а результат выходит более реалистичным.

Каковы противоположные доводы?

Отношение к реалистичности? Хех. Многие люди попросту ненавидят motion capture. Если вы – один из них, то оцифрованные персонажи не заменят вам классический стиль Nintendo или мультфильмы с ручной рисовкой старой школы – «Унесённые призраками» или «Looney Tunes». Светила анимации в лице Чака Джонса (Chuck Jones) и Хаяо Миядзаки (Hayao Miyazaki) вкладывают свою душу – и множество часов ручного анимирования – в создание запоминающихся персонажей. Хотя исполнение Серкиса и послужило прочной основой для шизофреничного Голлума, персонаж ещё долго дорабатывался аниматорами. Впрочем, Серкис забрал все лавры себе, заявив, что аниматоры просто накладывают «цифровой макияж».

Для продюсеров motion capture может выглядеть заманчивым способом сэкономить. Но захваченные данные не всегда можно сразу же пускать в ход – в большинстве случаев им предстоит пройти значительную (и сложную) обработку. К тому же итоговый результат может не совпадать с изначальным представлением продюсера. Анимация близка к натуральной, но всё же не полностью реалистичная, так что есть риск оттолкнуть зрителя «зловещей долиной».

Но всё же, для технологии захвата движений найдётся применение. Современные игры требуют продвинутой анимации для повышения степени реализма. Такие персонажи, как Голлум, Дэйви Джонс и Смауг уже практически стали классикой, отчасти благодаря актёрам, вдохнувшим в них жизнь. В этом и суть захвата движений, не так ли? Лучший способ создать запоминающегося компьютерного персонажа – запоминающаяся актёрская игра талантливых людей.

Хотите попробовать?

Подробнее про типы систем захвата движений и оборудование можно прочитать в переводе книги «Choosing a real-time performance capture system». Имея в запасе пару тысяч долларов стоит присмотреться к iClone Motion LIVE, который работает с Leap Motion, Faceware и костюмами захвата движений Perception Neuron, OptiTrack, Xsens.

Желаете попробовать себя в 3D-анимации/motion capture в домашних условиях? Есть масса бесплатных возможностей! Autodesk предлагает бесплатно и без ограничений использовать большинство своих продуктов в течение 30 дней (студентам – 3 года) – начать стоит с MotionBuilder и Maya или 3DS Max. Также у Autodesk есть много обучающих руководств и советов в разделе Area. Если у вас под рукой найдётся пара камер Sony PS Eye или Kinect, можете побаловаться с бесплатной пробной версией iPi Soft. Если вы хотите пропустить процесс захвата и поэкспериментировать с уже готовыми файлами движений, у Университета Карнеги-Меллон их полным-полно здесь. Если вас просто заинтересовала данная тема, можете поискать информацию на сайтах, посвящённых цифровым эффектам и игровой тематике.