Исследователи из НИТЦ нейротехнологий Южного федерального университета (ЮФУ) сделали шаг к тому, чтобы мысли можно было превращать в слова и команды. Они создали общедоступную базу данных сигналов мозга, которые возникают при мысленном произнесении простых слов — алгоритмы машинного обучения могут их различать с точностью 78%. Это поможет обучить искусственный интеллект распознавать внутреннюю речь, а в будущем даст голос людям, которые не могут говорить и двигаться.
Пациенты с тяжелыми нарушениями речи и двигательных функций (например, с боковым амиотрофическим склерозом или синдромом изоляции) часто оказываются запертыми в собственном теле. Они все понимают, но не могут общаться. Вернуть им такую возможность мог бы интерфейс «мозг-компьютер», который считывает нейросигналы и превращает их в команды для устройств. Но для этого нужно расшифровать мысленную речь человека.
Ученые ЮФУ сделали важный шаг в этом направлении. Они записали электроэнцефалограммы (ЭЭГ) 22 здоровых добровольцев — 12 русскоязычных и 10 испаноязычных. Участники произносили вслух и мысленно шесть слов-команд: «вверх», «вниз», «влево», «вправо», «вперед», «назад». Оказалось, что даже при мысленном проговаривании мозг генерирует устойчивые паттерны активности, которые может зафиксировать обычная ЭЭГ-шапочка с датчиками, а алгоритмы машинного обучения способны их расшифровать.
«Наша цель — создать качественный инструмент для разработки алгоритмов, способных распознавать „внутреннюю речь“ — то, что человек мысленно произносит, не шевеля губами. Такие технологии критически необходимы людям, которые по каким-либо причинам не могут говорить или двигаться: они дадут возможность управлять техникой, печатать тексты и взаимодействовать с виртуальной реальностью посредством одной только мысли», — объяснил один из авторов разработки, ведущий научный сотрудник НИТЦ нейротехнологий ЮФУ Дмитрий Шапошников.
Главным результатом работы исследователей стала открытая и доступная всем база данных на платформе Zenodo. Это своеобразный «словарь» сигналов мозга, соответствующих разным словам. Любой разработчик сможет ее использовать для интерпретации мысленной речи.
Так как база двуязычная, это позволяет изучать, как мозг обрабатывает слова на разных языках, и создавать универсальные модели. Они будут работать независимо от родного языка пользователя.
«На данном этапе разработанные алгоритмы позволяют распознавать мозговые паттерны с точностью около 78% — это уже достойный показатель для такой сложной задачи, как расшифровка мысленной речи. Однако мы не планируем останавливаться на достигнутом. В ближайших планах — расширить словарь распознаваемых слов с шести базовых команд до нескольких десятков, а также довести точность до 90-95% за счет совершенствования методов анализа ЭЭГ и применения более продвинутых алгоритмов искусственного интеллекта, — подчеркнул Дмитрий Шапошников. — Подобный уровень точности сделает технологию по-настоящему надежной и пригодной для повседневного использования».
Результаты работы опубликованы в научном журнале Scientific Data (международное издание из линейки Nature).
Ученые надеются, что в долгосрочной перспективе такие системы станут каналом коммуникации для людей после инсульта, тяжелой травмы или с нейродегенеративными заболеваниями. Им не нужно будет говорить или писать — достаточно будет подумать нужное слово, чтобы напечатать текст, передать команду на компьютер или даже управлять инвалидной коляской.
Исследование выполнено в рамках стратегического технологического проекта ЮФУ «Технологии многофункциональной микроэлектроники и интеллектуальной сенсорики для биогибридных и киберфизических систем» (№ СП-12-26-03) при поддержке программы Минобрнауки России «Приоритет-2030» (национальный проект «Молодежь и дети»).
