Найден способ воссоздавать мелодии по сигналам мозга

Корейские исследователи представили способ определения высоты нот в воображаемых песнях по сигналам мозга. Модель декодировала относительные классы высоты звука у пациентов с эпилепсией. Ученые планируют расшифровывать темп и динамику для создания интерфейсов для немых людей.

Ученые разработали модель, которая по активности мозга определяет высоту нот в мелодиях, которые люди представляют в воображении

Источник: Magnific

Исследователи из Сеульского национального университета разработали метод, позволяющий воссоздавать мелодии, которые люди представляют в воображении, на основе активности их мозга. Эта работа открывает путь к созданию интерфейсов для людей, которые не могут говорить.

В эксперименте участвовали 10 пациентов с эпилепсией, у которых на поверхности мозга были установлены электроды для клинического мониторинга. Участники слушали первые такты детских песен, а затем мысленно продолжали их, напевая про себя. Мозговая активность записывалась через электроды.

Ученые обнаружили, что сигналы мозга содержат информацию об относительной высоте нот в воображаемых мелодиях. Модель декодировала изменения высоты тона, отражающие структуру мысленных песен.

«Мы декодируем относительные классы высоты звука — до, ре, ми, фа, соль, ля, — а не точные абсолютные значения, — пояснили авторы исследования. — Это важно, потому что люди узнают мелодии по соотношению нот, даже если та же песня исполняется в другой тональности».

Технология может найти применение в интерфейсах «мозг-компьютер» для людей с нарушениями речи

Источник: Freepik

Исследование доказывает, что по сигналам мозга можно определить высоту нот в воображаемых мелодиях. В будущем ученые планируют расшифровывать другие характеристики (темп и динамику) и проверять метод на более сложной музыке. Авторы надеются, что разработка поможет людям с заболеваниями, ограничивающими речь (например, боковым амиотрофическим склерозом), выражать свои мысли через реконструкцию воображаемых мелодий.

Ранее Наука Mail рассказывала, когда младенцы начинают реагировать на музыку.