Говорит и двигается: нейросеть «оживила» Достоевского

23-05-2019, 06:29 \ Наука

Российские специалисты разработали алгоритм, благодаря которому нейросеть превращает статичные портреты в анимированные. Таким образом удалось «оживить» Достоевского. На видео он говорит и двигается.


 Ученым удалось «оживить» знаменитого во всем мире писателя 19 века – Ф.М. Достоевского. Эксперимент был осуществлен с помощью нейросети.

Суть анимирования статичного изображения заключается в том, что сверточная нейросеть берет за основу маску человеческого лица с видеоряда. Затем она переносится на изображение, которое в последующем «оживает».

Одной из основных проблем, по словам разработчиков, является реалистичность мимики при произношении слов «ожившим» портретом. Задача была решена группой специалистов из Samsung и «Сколково». В качестве руководителя проекта выступил Егор Захаров.

Ученым удалось разработать алгоритм, для которого требуется лишь два изображения – исходная картинка и цель. Нейросеть была обучена на большом количестве кадров, где запечатлены лица людей, на каждое из которых была наложена маска, обозначающая границы лица, а также базовую мимику.

В результате при минимуме затрат разработчики научили нейросеть «оживлять» портреты. В качестве эксперимента специалисты научили говорить и двигаться Достоевского. При этом для создания анимации достаточно лишь одного изображения источника.

Пользователей Сети эксперимент заинтересовал, они даже предложили «через такую нейросеть прогнать Пушкина А.С., Толстого, Горького, Петра I и т.д.».