Исследователи Чжэцзянского университета (Китай) изначально пытались создать интерфейс мозг-компьютер, способный распознавать китайские рукописные иероглифы. Однако результаты были неутешительными: система хорошо определяла скорость движения, но плохо справлялась с распознаванием самих символов.
Рукописный ввод — это сложное, требующее навыков движение, особенно для китайских иероглифов (это больше 3 500 часто встречающихся символов, состоящих из 32 типов штрихов). Это заставило ученых задуматься: а как именно мозг вообще «пишет»?
Они провели серию экспериментов с участием человека, который написал 306 различных китайских иероглифов под видеоруководством — своего рода караоке-игра по письму. В это время активность его моторной коры регистрировали с помощью микроэлектродов.
Моторная кора — зона мозга, которая отвечает за управление движениями, преобразование намерений в действия, но механизмы, с помощью которых она обеспечивает точные и стабильные движения, до сих пор были изучены поверхностно. Новое исследование позволило заглянуть в эти процессы глубже.
Результаты оказались неожиданными. Оказалось, что мозг не кодирует символы целиком. Вместо этого он разбивает движение руки на последовательные стабильные состояния — как бы мини-шаги, или «двигательные единицы». Каждое такое состояние соответствует определенной части движения и сохраняет стабильную активность нейронов, пока оно длится. Эти состояния и являются строительными блоками почерка.
Обычные нейронные декодеры — алгоритмы, которые переводят сигналы мозга в движения — не учитывают эту «пошаговость», и поэтому не справляются с задачей распознавания почерка. Исследователи предложили новый подход: модель кодирования и декодирования, которая учитывает смену нейронных состояний. Они разработали алгоритмы (в том числе TFC и декодер, зависящий от состояния), которые научились в реальном времени распознавать китайский рукописный текст на основе мозговых сигналов.
Этот прорыв открывает путь к созданию более совершенных интерфейсов мозг-компьютер, с помощью которых люди смогут писать текст силой мысли — без клавиатуры или руки. Особенно это важно для людей с двигательными нарушениями. Сейчас команда работает над тем, чтобы адаптировать свою модель к еще более тонким и сложным движениям.
Ранее стало известно о разработке учеными США и Южной Кореи нейроинтерфейса для управления техникой силой мысли.
