Несмотря на то, что компьютеры и ПО сейчас успешно облегчают проблему языкового барьера, есть один язык, с которым разобраться не так просто - тот, с помощью которого общаются глухие и слабослышащие люди. Проблема перевода с языка жестов подразумевает решение ряда нетривиальных задач, как сугубо лингвистических, так и технических, ведь жест зафиксировать и распознать сложнее, чем буквенный или акустический ряд.
Разбираясь с этим, украинские студенты Антон Степанов и Антон Постерников, под руководством своего преподавателя Дмитрия Самойленко, изобрели устройство EnableTalk - «умные перчатки». Устройство подключается к мобильному телефону, а жесты, произнесенные в перчатках, преобразуются в звуковую речь. В 2012 году разработка выиграла в международном технологическом конкурсе Imagine Cup и попала в шорт-лист американского журнала Time, как одно из лучших изобретений 2012 года. Команда, представившая проект на конкурсе, получила грант, 50 тысяч долларов, на развитие бизнеса. Однако основной разработчик, Антон Степанов, от денег отказался, и предпочел бизнесу независимые исследования. Сейчас он работает над усовершенствованием прототипа перчаток. Мы поговорили с Антоном об истории и перспективах проекта.
Расскажи, как ты ввязался в эту историю? Я знаю, что идея принадлежит вашему преподавателю...
Антон: Я был на первом курсе компьютерной академии ШАГ, и к нам в группу пришел завкафедрой разработки программного обеспечения Самойленко Дмитрий Евгеньевич, он рассказал, что мол студенты могут принимать участие в разных проектах и конкурсах. Обычно студенты подключаются к таким проектам позже, на первом курсе знаний еще не хватает, но я пришел с двумя высшими образованиями, сам учился программированию, и к моменту поступления уже имел опыт. Я заинтересовался, хотя и не был уверен в своих силах. Дмитрий Евгеньевич выслушал меня, сказал, что стоит попробовать, дал несколько заданий, чтобы проверить уровень, а потом привел меня к ребятам, которые уже работали над его идеей, связанной с распознанием жестов. Но так вышло, что для них это не было приоритетным направлением, и вскоре в проекте остался я один.
С чего ты начал?
Антон: Начал я, вообще, с того, что принялся писать программу, которая распознавала фигуры, нарисованные мышью. Получилось довольно неплохо - распознавались примитивные геометрические фигуры, причем в потоке, то есть не обязательно было останавливаться, чтобы программа определила, что нарисован, например, квадрат. Эту программу мы с Антоном показали на одном из конкурсов. Потом занялись непосредственно перчатками. Сначала хотел использовать игровые, но не нашел перчаток с достаточным количеством датчиков. Я стал работать над разными датчиками изгиба. Первоначально получилось сделать оптические датчики, представляющие собой трубку и фотопару с двух сторон. Датчики пришили к садовой перчатке. Шить помогали мама и жена. Все было примитивно, но начало было положено - появилась перчатка с несколькими датчиками, которая через провод подключалась к компу.
А когда присоединился второй Антон?
Антон: Вот как раз, когда решили сами делать перчатки. Мы с Антоном каждый работали над своими прототипами. Проект делался в рамках академии, но там учат именно программированию, поэтому перчатки надо было делать дома, и мы делали, каждый у себя дома. Я паял свои перчатки, Антон свои. Обменивались опытом, но подходы были немного разные. Мы использовали разные процессоры, так как у меня был опыт работы с одними процессорами, а у Антона с другими, но датчики использовали похожие, так, например, датчики изгиба пальцев я заказывал на двоих.
Чьи же перчатки оказались лучше?
Антон: Так немного некорректно говорить, ведь результате, мы использовали и те, и другие, но для разных целей. На моих перчатках было больше датчиков и распознавание лучше получалось на моих, зато на перчатках Антона демонстрировалась 3D модель. Мы написали каждый к своим перчаткам программы, и обе были задействованы в презентации. Когда я делал жест - из компьютера доносился звук, программа переводила. Программа Антона, когда он двигал рукой, показывала движение трехмерной руки - что наглядно демонстрировало работу системы. В сущности, перчатки были похожи, но всегда так случается, что в мелочах разница огромная.
Расскажи подробнее о принципе работы устройства.
Антон: В перчатке есть компас, гироскоп, акселерометры, на каждом пальце по два датчика изгиба, между пальцами датчики касания, на ладони датчик изгиба. Каждая перчатка имеет по 20 датчиков. Ты показываешь жестом фразу или слово, а перчатка все показания датчиков переводит в графики - наклон, траекторию, сгибания пальцев. По этим графикам идет сопоставление. Оказалось, что компьютеру намного проще сравнить графики чем сравнить положения 3D моделей.
Вы пытались тестировать EnableTalk на глухих?
Антон: Недавно для съемок канала СТБ (Украина) девочка, которая не слышит, пробовала перчатки. При повторении жеста не всегда получалось похоже, и, хотя система обучаема, пока есть огромная пропасть в точности. Я сейчас плотно над этим работаю. Следующий прототип будет точнее.
Что изменится в прототипе?
Антон: Повысится точность, перчатка будет обладать необходимым встроенным ПО, многие вычисления будут происходить внутри перчаток.
Ты уже выучил что-то из языка жестов?
Антон: Я выучил несколько, но сейчас я поглощен разработкой именно инструмента. Придет время, и нужно будет вникнуть в лингвистические вопросы, чтобы создать алгоритм распознавания жестов. Пока, к сожалению, до этого далеко.
После победы в конкурсе часто ли к тебе стали обращаться с деловыми предложениями?
Антон: Не то чтобы часто, но обращаются. Некоторые предложения очень интересны, но преждевременны. Пока идет разработка и хочется довести ее до определенной степени готовности. Я думаю, всему свое время.
