Нейросеть научили воссоздавать лицо по голосу | Блог Medical Note о здоровье и цифровой медицине

Нейросеть научили воссоздавать лицо по голосу

Ученые из Массачусетского технологического института в США разработали нейросеть Speech2Face, которая воссоздает примерное изображение лица человека по спектрограмме его речи. Возможности ИИ описаны в издании arXiv.org.

нейросеть
Реальные фото людей, восстановленные изображения и изображения на основе спектрограммы.

Нейросеть обучена на нескольких миллионах видео, в которых звучит голос пользователей. Каждое из них разделено на аудио- и видеодорожки.

Первая часть алгоритма создает снимок лица человека в анфас исходя из его уникальных особенностей, а вторая — воссоздает спектрограму речи и анализирует анфас человека на оригинальном видео.

Нейросеть использует такие демографические показатели, как пол, возраст и раса.

Тестирование показало, что ИИ успешно определяет пол и чаще всего угадывает людей с азиатской и европеоидной внешностью. Определить возраст даже с разницей в 10 лет Speech2Face пока не удается.

Разработчики отмечают, что главное в работе нейросети это не создание точного изображения человека по его голосу, а выделение из него определенных точных параметров.

Источник: Хайтек
Оставить комментарий
Хотите получать еженедельную
рассылку от Medical Note?

Вам понравится быть в курсе самых актуальных новостей медицины и акций в клиниках вашего города!