Команде американских и канадских инженеров из Калифорнийского университета, Беркли, и Университета Британской Колумбии, Ванкувер, удалось разработать нейросетевой фреймворк, который обучает сложным движениям виртуальных персонажей по видео, на которых действия выполняются людьми, например, по всевозможным роликам на видеохостинге YouTube. Разработка будет продемонстрирована миру на предстоящей конференции SIGGRAPH Asia 2018 по вопросам компьютерной графики.
Принцип работы алгоритма довольно прост. Изначально каждый кадр анализируется нейросетью на распознавание элементов тела человека посредством деления изображения на сетку, после чего происходит сравнение с соседними кадрами и фиксация изменений, а затем обработанная информация передаются другой нейросети, которая и обучает виртуального персонажа новым движениям.
Данным дополнением инженеры оснастили свою предыдущую разработку – алгоритм DeepMimic, который команда создала в начале текущего года. Он обучает виртуальных персонажей сложным движениям, которые совершаются людьми, однако для высокой точности копирования не был разработан удовлетворяющий потребности процесс подготовки исходных данных.
