20 января 2018, 15:23

Чистое искусство: нейросеть превратила людей на видео в цифровых марионеток

Их мимикой и движениями можно управлять.

Разработчик Джефф Зито (Jeff Zito) создал нейросеть, которая позволяет управлять чужими лицами на видео. Новую технологию использовал «музыкант-затворник» Lord Over — Зито сгенерировал для него клипы в стиле глитч-арт. В результате получились жутковатые видео, но, по словам самого Зито, «это чистое искусство».

Нейросеть использует человеческие образы из скормленных ей видео и создаёт из них собственные модели. Новые лица наслаиваются на исходники — так у пользователя появляется возможность управлять эмоциями и мимикой чужого лица. Зито отталкивался от технологии Face2Face, которая накладывает движения лица одного человека на видео c изображением другого.

Face2Face в свою очередь основан на разработках pix2pix, о которых мы писали в прошлом году. Сейчас сайт, который превращал корявые скетчи в «реалистичные» изображения людей и котов, к сожалению, закрыт из-за высокой стоимости серверов.

Ранее похожий алгоритм использовали исследователи из Вашингтонского университета. Нейросеть позволяла создавать реалистичное видео с говорящим человеком на основе записи любого голоса.

Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru