Врачам из отделения нейрохирургии Калифорнийского университета в Сан-Франциско удалось перекодировать записи мозговой активности пациентов во фразы. Правда, в данном эксперименте эти фразы были из ограниченного множества заранее определённых вопросов и ответов, но исследователи полагают, что в дальнейшем их результаты позволят значительно улучшить коммуникацию с парализованными пациентами.
Метод основан на «паттернах нейронной активности» — последовательностях возбуждения нейронов мозга, соответствующих восприятию и произнесению той или иной фразы. В эксперименте, проведённом под руководством Эдварда Чана (Edward Chang) и профинансированном компанией Facebook, согласились участвовать трое пациентов, которым предстояла нейрохирургическая операция в связи с эпилепсией. До операции каждому из них на срок не менее недели имплантировался на поверхность мозга чип, регистрирующий мозговую активность. Это делалось, чтобы определить, где в мозге находится судорожный очаг. Эти же электроды Чан и его коллеги использовали для эксперимента.
До операции всем пациентам были зачитаны девять вопросов и предложено прочитать список из возможных вариантов ответов на них. Вопросы и предлагаемые варианты ответов были такими: «Игру на каком инструменте вы любите (не любите) слушать?» (ответы: пианино, скрипка, электрогитара, ударные, синтезатор, ни один из названных), «Каково сейчас в комнате?» (светло, темно, холодно, жарко, всё в порядке), «Когда вы хотели бы, чтобы я осмотрел вас?» (сегодня, завтра), «Оцените по шкале от 1 до 10 баллов, насколько вам больно (удобно, вы довольны, вы напряжены, вас тошнит)». Как в момент прослушивания вопросов, так и при произнесении пациентом списка ответов регистрировалась нейронная активность.
На основе этой записи учёные сумели выявить характерные паттерны для каждого из ответов и вопросов. В результате после обучения компьютерная система по активности мозга пациента смогла почти мгновенно определять, какой вопрос он услышал и какой ответ ещё только собирается произнести. Точность распознавания вопросов и ответов составила 76 % и 61 % соответственно.
«Такой подход впервые используется для распознавания произнесённых слов и фраз, — говорит один из авторов исследования Дэвид Мозес (David Moses). — Важно помнить, что мы достигли этого, используя очень ограниченный словарный запас, но в будущих исследованиях мы надеемся повысить гибкость и точность нашего перевода». В дальнейшем подобные системы, обученные на значительно больших объёмах устной речи, как надеются исследователи, можно будет использовать при общении с пациентами, которые лишены способности говорить.
На вопрос, не смогут ли подобные системы в будущем читать мысли человека, а не только сформулированные им высказывания, Эдвард Чан ответил, что даже расшифровка того, что пациент пытается сказать, представляет собой сложную задачу, а извлечение его внутренних мыслей практически невозможно. «Я не заинтересован в разработке технологии, позволяющей узнать, о чём думают люди, даже если бы это было возможно, — сказал он. — Но если кто-то лишён возможности общения, я думаю, что мы как учёные и врачи несём ответственность за восстановление этой самой фундаментальной человеческой способности».
Исследование опубликовано в журнале Nature Communications.
