Исследователи из Южной Кореи представили инновационное устройство для перевода языка жестов — систему WRSLT на основе семи беспроводных колец с датчиками. Разработка призвана облегчить общение между людьми, владеющими языком жестов, и теми, кто его не знает.
Язык жестов — полноценный способ коммуникации со своими грамматикой и синтаксисом, но именно эта сложность иногда становится преградой для общения. По данным Всемирной федерации глухих, в мире существует больше 300 языков жестов. Ранее для преодоления этого барьера предлагали громоздкие перчатки или проводные панели — они были неудобны и сковывали движения.
Новая система WRSLT (беспроводной переводчик языка жестов с кольцевым соединением) лишена этих недостатков. Семь компактных колец надеваются на пальцы и не мешают естественной жестикуляции. В каждом кольце встроен миниатюрный акселерометр — он отслеживает положение пальцев в пространстве и фиксирует направление движения руки. Собранные данные передаются на смартфон или компьютер через Bluetooth Multilink, а искусственный интеллект преобразует их в письменный текст.
WRSLT обеспечивает перевод в режиме реального времени на уровне предложений с помощью полностью беспроводной и модульной архитектуры, которая подходит для разных пользователей и жестовых языков
На текущем этапе система распознает по 100 слов на американском (ASL) и международном языке жестов (ISL). В ходе тестирования она продемонстрировала высокую точность: 88,5% для международного языка жестов и 88,3% для ASL. При этом модель обучали на данных одних пользователей, а проверяли — на данных других, что подтверждает надежность и универсальность решения. Новинка описана в журнале Science Advances.
В планах разработчиков — уменьшить размер колец и расширить базу данных для ИИ, добавив больше слов и охватив дополнительные языки жестов. Это позволит сделать технологию еще более доступной и функциональной.
Ранее Наука Mail рассказывала, что «умная» одежда угрожает приватности и безопасности.
