Блог студии "ВидеоИнструмент"

Захват движения и искусственный интеллект

Захват движения - Motion capture


Традиционный захват движения осуществляется с помощью достаточно дорого софта и куча дополнительного оборудования. То есть бюджетного захвата движения пока не существует.


Для цифровых медиа и для кино, Mocap - данные по захвату движения обычно фиксируются с помощью оптических трекеров с маркерами слежения от таких компаний, как Vicon и OptiTrack, или с помощью сенсорных костюмов, таких как Xsens и Rokoko.

Студия "Видеоинструмент", когда её понадобились услуги захвата движения для  создания спецэффектов была вынуждена прибегать к услугам специализированной организации, чтобы вывести в прямой трансляции образ космонавта, который в реальном времени общался с ведущим на сцене. Такая услуга совсем недешевая и обходится в несколько сот тысяч рублей.

Искусственный интеллект при захвате движения


Подразделение Bandai Namco Research выпустило репозиторий с набором данных захвата движений в формате BVH. Компания считает, что данные можно использовать для исследований и разработки технологий искусственного интеллекта.


Исследовательская группа Bandai Namco Research рассказала, что в современном производстве игр и фильмов часто используются технологии захвата движения. Все записи движений на данный момент происходят с помощью актеров, на которых крепят специальное оборудование. Компания отметила, что такой подход, во-первых, требует дорогостоящего оборудования, во-вторых, занимает много времени. Исследователи подчеркнули, что в ближайшем будущем спрос на захват движения будет только увеличиваться, и привычный производственный процесс достигнет своего предела.

Компания предложила переложить задачи 3D-анимации на искусственный интеллект и начать разработку алгоритмов машинного обучения. Для этого компания опубликовала открытый набор данных захвата движений. Такой шаг, по мнению исследователей, поможет разработчикам сэкономить время и средства.

Процесс сбора данных команда Bandai Namco Research начала в прошлом году. На данный момент в репозитории опубликованы два набора данных, включающие повседневные движения, танцы, элементы боевых искусств и жесты. Каждое действие включает в себя разные эмоциональные окраски. Помимо этого в проект включено все необходимое для воспроизведения анимаций в Blender.