Ученые из Университетов Северной Каролины и Мэриленда создали систему искусственного интеллекта, способную определять эмоции человека на основании анализа его походки.
Сейчас уже создано довольно большое количество компьютерных систем распознавания эмоций, работающих с записью голоса человека или анализирующих его выражение лица. Но люди, как известно, в повседневной жизни получают значительную часть информации об эмоциональном состоянии человека благодаря “языку тела”. Научить этому искусственный интеллект решили Танмай Рандхаване (Tanmay Randhavane) из Университета Северной Каролины и его коллеги. Для решения такой задачи они создали обучающий набор данных Emotion Walk (EWalk), состоящий из видеозаписей людей, которые ходят в помещении или на улице, при этом их эмоциональное состояние известно. Этот набор был использован для обучения искусственной нейросети. В систему также входит алгоритм, который строит трехмерную модель походки человека по видеозаписи.
В итоге нейросеть смогла с точностью до 80 % определять четыре базовых варианта настроения идущего: радостное, грустное, сердитое и нейтральное. Показанный результат на 14 % лучше, чем у других подобных систем. «Основным преимуществом нашего подхода к распознаванию эмоций является то, что он сочетает в себе два разных метода, – говорит Танмай Рандхаване. – В дополнение к использованию машинного обучения, наш подход также использует результаты психологических исследований. Комбинация обоих этих методов дает нам преимущество перед другими системами».
«Наше исследование представляет пока еще начальную стадию, – говорит один из авторов работы Аникет Бера (Aniket Bera). – Мы хотим изучить различные аспекты языка тела, а также другие сигналы, такие как выражения лица, речь, образцы голоса и так далее, а затем использовать мультимодальный подход для объединения всех этих сигналов с походкой. Пока наша система работает с естественной ходьбой человека без каких-либо аксессуаров (например, сумки или мобильного телефона). В рамках будущей работы мы хотели бы собрать больше данных и лучше обучить нашу нейросеть. Мы также попытаемся расширить нашу методологию, чтобы рассмотреть такие действия, как бег».
Работа подобных систем искусственного интеллекта, по словам исследователей, будет полезна при обучении естественной ходьбе антропоморфных роботов. Также такие модели можно будет использовать для обнаружения аномального поведения людей по видеозаписям, например, для выявления лиц, подверженных риску самоубийства.
Препринт исследования опубликован на сайте arXiv.org.
