Человеческое общение — это не только слова. Мы киваем, пожимаем плечами, машем руками. Для людей с тяжелым параличом интерфейсы «мозг-компьютер» стали мостом к миру. Но до сих пор технологии позволяли либо говорить, либо двигаться. Теперь исследователи показали, что один имплант может делать и то, и другое сразу.
Устройство, описанное в журнале Nature Neuroscience, впервые переводит вербальные и невербальные сигналы в реальном времени. Оно использует искусственный интеллект для преобразования электрической активности мозга в текст на экране и в движения анимированного аватара.
Система с массивом из 253 электродов на поверхности коры головного мозга покрывает большую площадь сенсомоторной коры. Это позволяет улавливать сигналы, связанные как с речью, так и с движениями тела. В испытаниях участвовали два человека. Первый перенес инсульт ствола мозга, второй страдал боковым амиотрофическим склерозом. Их просили произносить фразы и представлять жесты — например, помахать рукой или кивнуть.
Искусственный интеллект обучали на данных, собранных во время всех трех задач: только речь, только жесты и их комбинация. Оказалось, что такой подход дает более высокую точность, чем обучение на отдельных задачах. Затем систему связали с персонализированным виртуальным аватаром. В тестах на распознавание речи точность для первого участника достигала 100% в трех из пяти испытаний. Для второго — 75% для речи и 85% для жестов.
«Это вселяет надежду на то, что нейронные протезы войдут в повседневное использование», — говорит Кристиан Херфф из Маастрихтского университета. Хотя ученые отмечают, что система пока экспериментальная. В планах — расширить словарный запас и научить аватар управлять отдельными частями тела, например, суставами руки.
Ранее Наука Mail рассказывала, что инженеры напечатали чипы, созданные по образцу мозга.