NVIDIA разрабатывает обработчик текстур на базе ИИ

NVIDIA работает над «магическим» инструментарием GameWorks: Materials & Textures (или просто GWMT), помогающим улучшать разрешение текстур, генерировать карты и создавать органические вариации материалов.

На данный момент технология находится на стадии беты, но ее уже можно попробовать – для этого нужно зарегистрироваться (8 марта регистрация была закрыта). Этот инструментарий нацелен преимущественно на 3D-художников, которые хотят выжать максимум из NVIDIA CUDA и технологий глубокого машинного обучения. Проект создавался силами двух разных подразделений компании – NVIDIA Developer Technologies и NVIDIA Research – и целью было создание инструментов, улучшающих игры и графику, но в то же время ускоряющих скорость разработки. NVIDIA планирует работать над GWMT «в течение нескольких лет».

«Эти инструменты позволяют разработчикам и художникам использовать ИИ, чтобы автоматически расширить разнообразие текстур в своей игре. Они улучшают качество изображений в играх, а также автоматически генерируют текстуры и соответствующие свойства материалов для объектов реального мира, воссозданных с фотографий.

Когда мы показали технологию, много внимания привлекло изумительное демо, которое ясно показывало, как машинное обучение может ускорить работу с фотограмметрией, при которой DSLR-фотографии комбинируются друг с другом, создавая богато детализированные 3D-модели объектов из реального мира.

Этот проект – исследование того, как GPU (а также платформа параллельных вычислений CUDA и программная модель CUDA) обеспечивают вычислительной мощностью программы машинного обучения, которыми художники и инженеры из разных индустрий пользуются для создания уникальных и незабываемых впечатлений».

Технически эта новая технология позволяет существенно улучшить рабочий процесс, помогая очень быстро создавать реалистичные текстуры. На данный момент ее можно использовать для трех задач:

• Супер-разрешение. Позволяет увеличивать разрешение текстур и фотографий в 2 или 4 раза.
• Из фото в материал (2shot). Использует два фото поверхности из реального мира, чтобы с их помощью сгенерировать диффузную карту, карту нормалей, карту отражений и карту размытости отражений.
• Умножитель текстур. Берет фотографию или текстуру, а затем выдает ее органическую вариацию.

На данный момент подробностей о технологии мало. Будем надеяться, что в скором будущем NVIDIA расскажет о ней более подробно. К слову, мне все это напоминает то, что сейчас делает Artomatix. Но выглядит очень круто.