Нейросеть научила президента правдоподобно говорить под фонограмму

Алгоритм исследователей из Вашингтонского университета позволяет создавать реалистичное видео с говорящим человеком на основе записи какого-либо голоса.

Новая разработка может улучшить видеосвязь, кинематограф и виртуальную реальность. Система основана на нейросети с обратной связью. Для обучения разработчики показали программе 17 часов видео с выступлениями Барака Обамы. Затем из записей извлекли отдельные фонемы. На их основе воссоздали мимику и артикуляцию. Цифровую область рта наложили на другой видеоряд, а движения губ, глаз и головы синхронизировали до естественного вида.

В демонстрационном ролике на видеоряд обращения Барака Обамы к американским гражданам добавлены аудиодорожки из других его выступлений.

Технология синтеза речи для видео существовала и раньше. Однако для этого использовались записи людей в экспериментальных условиях. Учёным впервые удалось совместить естественные и различные аудио- и видеозаписи реального человека.

Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru

Автор иконки на тизере: Simon Child, Noun Project

Хотите защитить себя в цифровой среде, используя всего один сервис?

Подключайте МТС Membrana — комплексное решение для цифровой безопасности.

Membrana это:

• Приватность в сети: контроль цифрового следа, мониторинг утечек, дополнительные номера и почты для защиты личных данных;
• Удобство голосового общения: умная фильтрация и управление входящими;
• Дополнительные возможности: доступ к зарубежным сайтам и оплата иностранных сервисов; блокировка рекламы.

Как всё работает и что говорят пользователи —

читайте здесь →

Реклама. ПАО «Мобильные ТелеСистемы». ИНН 7740000076. ERID: 2W5zFG3Vzzt