Нейросеть научила президента правдоподобно говорить под фонограмму
И теперь у каждого может появиться цифровой двойник.
Алгоритм исследователей из Вашингтонского университета позволяет создавать реалистичное видео с говорящим человеком на основе записи какого-либо голоса.
Новая разработка может улучшить видеосвязь, кинематограф и виртуальную реальность. Система основана на нейросети с обратной связью. Для обучения разработчики показали программе 17 часов видео с выступлениями Барака Обамы. Затем из записей извлекли отдельные фонемы. На их основе воссоздали мимику и артикуляцию. Цифровую область рта наложили на другой видеоряд, а движения губ, глаз и головы синхронизировали до естественного вида.
В демонстрационном ролике на видеоряд обращения Барака Обамы к американским гражданам добавлены аудиодорожки из других его выступлений.
Технология синтеза речи для видео существовала и раньше. Однако для этого использовались записи людей в экспериментальных условиях. Учёным впервые удалось совместить естественные и различные аудио- и видеозаписи реального человека.
Читать по теме:
Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru
Автор иконки на тизере: Simon Child, Noun Project
МегаФон Таргет: рекламная платформа для бизнеса
- Сервис позволяет запускать рекламные кампании в одном окне.
- Сегментируйте базу по поведению и интересам с таргетингами.
- Стабильный СМС-канал.
- На первый запуск 3000 бонусных рублей.
- Запустите первую кампанию за 10 минут с ИИ-помощником.
Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID: 2W5zFHynoTX.
