16 февраля 2020, воскресенье, 23:26
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.Дзен

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

«Умные» перчатки-переводчики EnableTalk скоро станут еще умнее

Перчатки Enable Talk
Перчатки Enable Talk

Презентация перчаток на Imagine Cup 2012

Несмотря на то, что компьютеры и ПО сейчас успешно облегчают проблему языкового барьера, есть один язык, с которым разобраться не так просто - тот, с помощью которого общаются глухие и слабослышащие люди. Проблема перевода с языка жестов подразумевает решение ряда нетривиальных задач, как сугубо лингвистических, так и технических, ведь жест зафиксировать и распознать сложнее, чем буквенный или акустический ряд.

Разбираясь с этим, украинские студенты Антон Степанов и Антон Постерников, под руководством своего преподавателя Дмитрия Самойленко, изобрели устройство EnableTalk - «умные перчатки». Устройство подключается к мобильному телефону, а жесты, произнесенные в перчатках, преобразуются в звуковую речь. В 2012 году разработка выиграла в международном технологическом конкурсе Imagine Cup и попала в шорт-лист американского журнала Time, как одно из лучших изобретений 2012 года. Команда, представившая проект на конкурсе, получила грант, 50 тысяч долларов, на развитие бизнеса. Однако основной разработчик, Антон Степанов, от денег отказался, и предпочел бизнесу независимые исследования. Сейчас он работает над усовершенствованием прототипа перчаток. Мы поговорили с Антоном об истории и перспективах проекта.

Расскажи, как ты ввязался в эту историю? Я знаю, что идея принадлежит вашему преподавателю...

Антон: Я был на первом курсе компьютерной академии ШАГ, и к нам в группу пришел завкафедрой разработки программного обеспечения Самойленко Дмитрий Евгеньевич, он рассказал, что мол студенты могут принимать участие в разных проектах и конкурсах. Обычно студенты подключаются к таким проектам позже, на первом курсе знаний еще не хватает, но я пришел с двумя высшими образованиями, сам учился программированию, и к моменту поступления уже имел опыт. Я заинтересовался, хотя и не был уверен в своих силах. Дмитрий Евгеньевич выслушал меня, сказал, что стоит попробовать, дал несколько заданий, чтобы проверить уровень, а потом привел меня к ребятам, которые уже работали над его идеей, связанной с распознанием жестов. Но так вышло, что для них это не было приоритетным направлением, и вскоре в проекте остался я один.

С чего ты начал?

Антон: Начал я, вообще, с того, что принялся писать программу, которая распознавала фигуры, нарисованные мышью. Получилось довольно неплохо - распознавались примитивные геометрические фигуры, причем в потоке, то есть не обязательно было останавливаться, чтобы программа определила, что нарисован, например, квадрат. Эту программу мы с Антоном показали на одном из конкурсов. Потом занялись непосредственно перчатками. Сначала хотел использовать игровые, но не нашел перчаток с достаточным количеством датчиков. Я стал работать над разными датчиками изгиба. Первоначально получилось сделать оптические датчики, представляющие собой трубку и фотопару с двух сторон. Датчики пришили к садовой перчатке. Шить помогали мама и жена. Все было примитивно, но начало было положено - появилась перчатка с несколькими датчиками, которая через провод подключалась к компу.

А когда присоединился второй Антон?

Антон: Вот как раз, когда решили сами делать перчатки. Мы с Антоном каждый работали над своими прототипами. Проект делался в рамках академии, но там учат именно программированию, поэтому перчатки надо было делать дома, и мы делали, каждый у себя дома. Я паял свои перчатки, Антон свои. Обменивались опытом, но подходы были немного разные. Мы использовали разные процессоры, так как у меня был опыт работы с одними процессорами, а у Антона с другими, но датчики использовали похожие, так, например, датчики изгиба пальцев я заказывал на двоих.

Чьи же перчатки оказались лучше?

Антон: Так немного некорректно говорить, ведь результате, мы использовали и те, и другие, но для разных целей. На моих перчатках было больше датчиков и распознавание лучше получалось на моих, зато на перчатках Антона демонстрировалась 3D модель. Мы написали каждый к своим перчаткам программы, и обе были задействованы в презентации. Когда я делал жест - из компьютера доносился звук, программа переводила. Программа Антона, когда он двигал рукой, показывала движение трехмерной руки - что наглядно демонстрировало работу системы. В сущности, перчатки были похожи, но всегда так случается, что в мелочах разница огромная.

Ты показываешь жестом фразу или слово, а перчатка все показания датчиков переводит в графики - наклон, траекторию, сгибания пальцев. По этим графикам идет сопоставление. Оказалось, что компьютеру намного проще сравнить графики чем сравнить положения 3D моделей.

Расскажи подробнее о принципе работы устройства.

Антон: В перчатке есть компас, гироскоп, акселерометры, на каждом пальце по два датчика изгиба, между пальцами датчики касания, на ладони датчик изгиба. Каждая перчатка имеет по 20 датчиков. Ты показываешь жестом фразу или слово, а перчатка все показания датчиков переводит в графики - наклон, траекторию, сгибания пальцев. По этим графикам идет сопоставление. Оказалось, что компьютеру намного проще сравнить графики чем сравнить положения 3D моделей.

Вы пытались тестировать EnableTalk на глухих?

Антон: Недавно для съемок канала СТБ (Украина) девочка, которая не слышит, пробовала перчатки. При повторении жеста не всегда получалось похоже, и, хотя система обучаема, пока есть огромная пропасть в точности. Я сейчас плотно над этим работаю. Следующий прототип будет точнее.

Что изменится в прототипе?

Антон: Повысится точность, перчатка будет обладать необходимым встроенным ПО, многие вычисления будут происходить внутри перчаток.

Ты уже выучил что-то из языка жестов?

Антон: Я выучил несколько, но сейчас я поглощен разработкой именно инструмента. Придет время, и нужно будет вникнуть в лингвистические вопросы, чтобы создать алгоритм распознавания жестов. Пока, к сожалению, до этого далеко.

После победы в конкурсе часто ли к тебе стали обращаться с деловыми предложениями?

Антон: Не то чтобы часто, но обращаются. Некоторые предложения очень интересны, но преждевременны. Пока идет разработка и хочется довести ее до определенной степени готовности. Я думаю, всему свое время.

Обсудите в соцсетях

«Ангара» Африка Византия Вселенная Гренландия ДНК Иерусалим КГИ Луна МГУ Марс Монголия НАСА РБК РВК РГГУ РадиоАстрон Роскосмос Роспатент Росприроднадзор Русал СМИ Сингапур Солнце Титан Юпитер акустика антибиотики античность археология архитектура астероиды астрофизика бактерии бедность библиотеки биомедицина биомеханика бионика биоразнообразие биотехнологии блогосфера вакцинация викинги вирусы воспитание вулканология гаджеты генетика география геология геофизика геохимия гравитация грибы дельфины демография демократия дети динозавры животные здоровье землетрясение змеи зоопарк зрение изобретения иммунология импорт инновации интернет инфекции ислам исламизм исследования история карикатура картография католицизм кельты кибернетика киты климатология клонирование комары комета кометы компаративистика космос культура культурология лазер лексика лженаука лингвистика льготы мамонты математика материаловедение медицина металлургия метеориты микробиология микроорганизмы мифология млекопитающие мозг моллюски музеи насекомые наука нацпроекты неандертальцы нейробиология неолит обезьяны общество онкология открытия палеолит палеонтология память папирусы паразиты перевод питание планетология погода политика право приматы природа психиатрия психоанализ психология психофизиология птицы ракета растения религиоведение рептилии робототехника рыбы сердце смертность собаки сон социология спутники старение старообрядцы стартапы статистика такси технологии тигры топливо торнадо транспорт ураган урбанистика фармакология физика физиология фольклор химия христианство цифровизация школа экология электрохимия эпидемии эпидемиология этология язык Александр Беглов Дмитрий Козак Древний Египет Западная Африка Латинская Америка НПО «Энергомаш» Нобелевская премия РКК «Энергия» Российская империя Сергиев Посад альтернативная энергетика аутизм биология бозон Хиггса вымирающие виды глобальное потепление грипп защита растений инвазивные виды информационные технологии искусственный интеллект история искусства история цивилизаций исчезающие языки квантовая физика квантовые технологии климатические изменения компьютерная безопасность компьютерные технологии космический мусор криминалистика культурная антропология междисциплинарные исследования местное самоуправление мобильные приложения научный юмор облачные технологии обучение одаренные дети педагогика персональные данные подготовка космонавтов преподавание истории продолжительность жизни происхождение человека русский язык сланцевая революция физическая антропология финансовый рынок черные дыры эволюция эмбриональное развитие этнические конфликты ядерная физика Вольное историческое общество жизнь вне Земли естественные и точные науки НПО им.Лавочкина Центр им.Хруничева История человека. История институтов дело Baring Vostok Протон-М 3D Apple Big data Dragon Facebook Google GPS IBM MERS PayPal PRO SCIENCE видео ProScience Театр SpaceX Tesla Motors Wi-Fi

Редакция

Электронная почта: [email protected]
Телефон: +7 929 588 33 89
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2020.