Российский программист научил компьютер понимать язык глухих | Блог Medical Note о здоровье и цифровой медицине

Российский программист научил компьютер понимать язык глухих

Выпускник Новосибирского государственного технического университета Алексей Приходько разработал систему, которая переводит язык людей с нарушениями слуха и управляет компьютером с помощью жестов. Об этом сообщается на сайте вуза.

язык глухих, новосибирск, алексей приходько, нгту

Основная функция программы — перевод. Система работает по аналогии с мозгом человека: при помощи камеры распознает картинку и фиксирует жесты, переводит и обрабатывает изображение, сопоставляя их с данными нейронной сети. После чего компьютер выводит на монитор соответствующий жестам перевод.

По словам Приходько, система также может управлять компьютером с помощью жестов. Движениями рук можно настроить громкость, яркость, управлять курсором на экране без помощи мыши.

Разработчик отмечает, что ни один из существующих готовых переводчиков для глухих, в том числе компании Microsoft, не смог полностью реализовать задачу перевода с жестового на звуковой язык, а потому «качество работы таких приложений оставляет желать лучшего».

Изобретение российского программиста не требует специального оборудования для создания маркерного способа распознавания текста — то есть, когда на пользователе надеты специальные перчатки и другие приборы, учитывающие движение мышцы и точки на корпусе.

«Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», подчеркивает Алексей.

Происходит это так: система накладывает виртуальную «сетку» на получаемое изображение. На ней программные алгоритмы находят опорные точки, по которым определяются жесты. Затем система обрабатывает данные и после воспроизводит заданные действия — перевод или управление.

Алексей Приходько родился в семье глухих, для него русский жестовый язык (РЖЯ) является родным. Это не помешало ему поступить в НГТУ НЭТИ и стать одним из самых успешных аспирантов вуза. Сегодня Алексей — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.

В настоящее время специалист ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ. По его словам, он бы смог доработать прототип до конечного продукта за 1-2 года, если бы кто-то был готов инвестировать. Сейчас Алексею не хватает ресурсов на работу над системой и кандидатской по теме.

Источник: НГТУ
Оставить комментарий
Хотите получать еженедельную
рассылку от Medical Note?

Вам понравится быть в курсе самых актуальных новостей медицины и акций в клиниках вашего города!