Полiт.ua Государственная сеть Государственные люди Войти
4 декабря 2016, воскресенье, 02:56
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

ТЕАТР

РЕГИОНЫ

«Умные» перчатки-переводчики EnableTalk скоро станут еще умнее

Перчатки Enable Talk
Перчатки Enable Talk

Презентация перчаток на Imagine Cup 2012

Несмотря на то, что компьютеры и ПО сейчас успешно облегчают проблему языкового барьера, есть один язык, с которым разобраться не так просто - тот, с помощью которого общаются глухие и слабослышащие люди. Проблема перевода с языка жестов подразумевает решение ряда нетривиальных задач, как сугубо лингвистических, так и технических, ведь жест зафиксировать и распознать сложнее, чем буквенный или акустический ряд.

Разбираясь с этим, украинские студенты Антон Степанов и Антон Постерников, под руководством своего преподавателя Дмитрия Самойленко, изобрели устройство EnableTalk - «умные перчатки». Устройство подключается к мобильному телефону, а жесты, произнесенные в перчатках, преобразуются в звуковую речь. В 2012 году разработка выиграла в международном технологическом конкурсе Imagine Cup и попала в шорт-лист американского журнала Time, как одно из лучших изобретений 2012 года. Команда, представившая проект на конкурсе, получила грант, 50 тысяч долларов, на развитие бизнеса. Однако основной разработчик, Антон Степанов, от денег отказался, и предпочел бизнесу независимые исследования. Сейчас он работает над усовершенствованием прототипа перчаток. Мы поговорили с Антоном об истории и перспективах проекта.

Расскажи, как ты ввязался в эту историю? Я знаю, что идея принадлежит вашему преподавателю...

Антон: Я был на первом курсе компьютерной академии ШАГ, и к нам в группу пришел завкафедрой разработки программного обеспечения Самойленко Дмитрий Евгеньевич, он рассказал, что мол студенты могут принимать участие в разных проектах и конкурсах. Обычно студенты подключаются к таким проектам позже, на первом курсе знаний еще не хватает, но я пришел с двумя высшими образованиями, сам учился программированию, и к моменту поступления уже имел опыт. Я заинтересовался, хотя и не был уверен в своих силах. Дмитрий Евгеньевич выслушал меня, сказал, что стоит попробовать, дал несколько заданий, чтобы проверить уровень, а потом привел меня к ребятам, которые уже работали над его идеей, связанной с распознанием жестов. Но так вышло, что для них это не было приоритетным направлением, и вскоре в проекте остался я один.

С чего ты начал?

Антон: Начал я, вообще, с того, что принялся писать программу, которая распознавала фигуры, нарисованные мышью. Получилось довольно неплохо - распознавались примитивные геометрические фигуры, причем в потоке, то есть не обязательно было останавливаться, чтобы программа определила, что нарисован, например, квадрат. Эту программу мы с Антоном показали на одном из конкурсов. Потом занялись непосредственно перчатками. Сначала хотел использовать игровые, но не нашел перчаток с достаточным количеством датчиков. Я стал работать над разными датчиками изгиба. Первоначально получилось сделать оптические датчики, представляющие собой трубку и фотопару с двух сторон. Датчики пришили к садовой перчатке. Шить помогали мама и жена. Все было примитивно, но начало было положено - появилась перчатка с несколькими датчиками, которая через провод подключалась к компу.

А когда присоединился второй Антон?

Антон: Вот как раз, когда решили сами делать перчатки. Мы с Антоном каждый работали над своими прототипами. Проект делался в рамках академии, но там учат именно программированию, поэтому перчатки надо было делать дома, и мы делали, каждый у себя дома. Я паял свои перчатки, Антон свои. Обменивались опытом, но подходы были немного разные. Мы использовали разные процессоры, так как у меня был опыт работы с одними процессорами, а у Антона с другими, но датчики использовали похожие, так, например, датчики изгиба пальцев я заказывал на двоих.

Чьи же перчатки оказались лучше?

Антон: Так немного некорректно говорить, ведь результате, мы использовали и те, и другие, но для разных целей. На моих перчатках было больше датчиков и распознавание лучше получалось на моих, зато на перчатках Антона демонстрировалась 3D модель. Мы написали каждый к своим перчаткам программы, и обе были задействованы в презентации. Когда я делал жест - из компьютера доносился звук, программа переводила. Программа Антона, когда он двигал рукой, показывала движение трехмерной руки - что наглядно демонстрировало работу системы. В сущности, перчатки были похожи, но всегда так случается, что в мелочах разница огромная.

Ты показываешь жестом фразу или слово, а перчатка все показания датчиков переводит в графики - наклон, траекторию, сгибания пальцев. По этим графикам идет сопоставление. Оказалось, что компьютеру намного проще сравнить графики чем сравнить положения 3D моделей.

Расскажи подробнее о принципе работы устройства.

Антон: В перчатке есть компас, гироскоп, акселерометры, на каждом пальце по два датчика изгиба, между пальцами датчики касания, на ладони датчик изгиба. Каждая перчатка имеет по 20 датчиков. Ты показываешь жестом фразу или слово, а перчатка все показания датчиков переводит в графики - наклон, траекторию, сгибания пальцев. По этим графикам идет сопоставление. Оказалось, что компьютеру намного проще сравнить графики чем сравнить положения 3D моделей.

Вы пытались тестировать EnableTalk на глухих?

Антон: Недавно для съемок канала СТБ (Украина) девочка, которая не слышит, пробовала перчатки. При повторении жеста не всегда получалось похоже, и, хотя система обучаема, пока есть огромная пропасть в точности. Я сейчас плотно над этим работаю. Следующий прототип будет точнее.

Что изменится в прототипе?

Антон: Повысится точность, перчатка будет обладать необходимым встроенным ПО, многие вычисления будут происходить внутри перчаток.

Ты уже выучил что-то из языка жестов?

Антон: Я выучил несколько, но сейчас я поглощен разработкой именно инструмента. Придет время, и нужно будет вникнуть в лингвистические вопросы, чтобы создать алгоритм распознавания жестов. Пока, к сожалению, до этого далеко.

После победы в конкурсе часто ли к тебе стали обращаться с деловыми предложениями?

Антон: Не то чтобы часто, но обращаются. Некоторые предложения очень интересны, но преждевременны. Пока идет разработка и хочется довести ее до определенной степени готовности. Я думаю, всему свое время.

Обсудите в соцсетях

Система Orphus
Подпишитесь
чтобы вовремя узнавать о новых спектаклях и других мероприятиях ProScience театра!
3D Apple Facebook Google GPS IBM iPhone PRO SCIENCE видео ProScience Театр Wi-Fi альтернативная энергетика «Ангара» античность археология архитектура астероиды астрофизика Байконур бактерии библиотека онлайн библиотеки биология биомедицина биомеханика бионика биоразнообразие биотехнологии блогосфера бозон Хиггса визуальная антропология вирусы Вольное историческое общество Вселенная вулканология Выбор редакции гаджеты генетика география геология глобальное потепление грибы грипп демография дети динозавры ДНК Древний Египет естественные и точные науки животные жизнь вне Земли Западная Африка защита диссертаций землетрясение зоопарк Иерусалим изобретения иммунология инновации интернет инфекции информационные технологии искусственный интеллект ислам историческая политика история история искусства история России история цивилизаций История человека. История институтов исчезающие языки карикатура католицизм квантовая физика квантовые технологии КГИ киты климатология комета кометы компаративистика компьютерная безопасность компьютерные технологии коронавирус космос криминалистика культура культурная антропология лазер Латинская Америка лженаука лингвистика Луна мамонты Марс математика материаловедение МГУ медицина междисциплинарные исследования местное самоуправление метеориты микробиология Минобрнауки мифология млекопитающие мобильные приложения мозг Монголия музеи НАСА насекомые неандертальцы нейробиология неолит Нобелевская премия НПО им.Лавочкина обезьяны обучение общество О.Г.И. открытия палеолит палеонтология память педагогика планетология погода подготовка космонавтов популяризация науки право преподавание истории происхождение человека Протон-М психология психофизиология птицы ракета растения РБК РВК регионоведение религиоведение рептилии РКК «Энергия» робототехника Роскосмос Роспатент русский язык рыбы Сингапур смертность Солнце сон социология спутники старообрядцы стартапы статистика технологии тигры торнадо транспорт ураган урбанистика фармакология Фестиваль публичных лекций физика физиология физическая антропология фольклор химия христианство Центр им.Хруничева школа эволюция эволюция человека экология эпидемии этнические конфликты этология ядерная физика язык

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефоны: +7 495 980 1893, +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.