Ученые из Петербурга создают программы, которые понимают язык жестов и читают по губам

17.07.2019

По словам заведующего лабораторией СПИИРАН, робот будет использован для работы с клиентами

САНКТ-ПЕТЕРБУРГ, 16 июля. /ТАСС/. Ученые из Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН) ведут научно-исследовательские проекты по созданию компьютерных систем, способных читать речь по губам и понимать язык жестов. Об этом ТАСС рассказал заведующий лабораторией речевых и многомодальных интерфейсов Алексей Карпов.

"Мы выполняем при поддержке Министерства науки и высшего образования России двусторонний проект с чешскими коллегами по разработке мобильного информационного робота с многомодальными интерфейсами пользователя. Так, там будет применен русскоязычный речевой интерфейс, а также будет жестовый интерфейс, чтобы робот мог взаимодействовать также с глухими людьми", - рассказал ТАСС Карпов про первый из проектов.

По его словам, прототип робота, который построят на основе этих разработок, будет представлять из себя помощника для покупателей супермаркетов. Машина сможет понимать речевые запросы покупателя и элементы языка жестов, проводит человека к нужным товарам и транспортирует покупки на тележке. Помимо этого, разрабатываемую систему можно будет использовать в банках, МФЦ и других организациях для работы с клиентами, в том числе - общающимися с помощью языка жестов.

Второй смежный проект должен позволить с высокой точностью и устойчивостью распознавать речь по движению губ, что будет полезно не только для общения с глухими людьми, но также и для распознавания речи в шумных местах.

Источник: ТАСС

©РАН 2024