Перчатки переведут язык жестов в аудио | Блог Medical Note о здоровье и цифровой медицине

Перчатки переведут язык жестов в аудио

Исследователь из Кении Рой Аллела разработал перчатки, которые могут переводить движения рук в формат аудиоречи. Это позволит слабослышащим людям общаться даже с теми, кто не понимает язык жестов.

25-летний инженер Рой Аллела рассказал, что на создание «умных» перчаток его вдохновила шестилетняя племянница. Девочка родилась глухой. Из-за того, что семья не знает языка жестов, ей трудно общаться с близкими.

Рой работает в компании Intel и преподает науку о данных в Оксфордском университете. Знания и опыт в области машинного обучения помогли ему разработать перчатки Sign-IO, которые преобразовывают язык жестов в звуковую речь.

Каждый палец перчатки оснащен датчиками, которые считывают движения пальцев пользователя. Гаджет подключается через Bluetooth к мобильному приложению на Android — еще одному изобретению Аллела. Язык жестов преобразовывается в текст, а затем — в аудиоречь.

Sign-IO переводит жесты в речь в режиме реального времени и с учетом индивидуальных скоростей интерпретации. Пользователь также сможет управлять высотой, скоростью и тоном голоса.

По словам ученого, сейчас перчатки способны преобразовать в речь до 93% жестов.

Дизайн гаджета может быть любым — это могут быть перчатки человека-паука или принцессы. Это особенно важно для детей, которые из-за своей глухоты зачастую сталкиваются с проблемами в обществе.

«Таким образом мы еще и боремся со стигмой,  говорит изобретатель.  Если перчатки будут классно выглядеть, то любому ребенку захочется узнать, что это, и зачем их носят».

Разработка молодого ученого уже получила ряд престижных международных наград. Сам же исследователь вошел в число 16 молодых африканцев, которые включены в шорт-лист Премии Королевской академии инженерного искусства Африки.

Оставить комментарий