Исследователи из университета Тохоку (Япония) представили инновационную технологию ввода текста для гарнитур дополненной (AR) и смешанной (MR) реальности. Разработанное решение позволяет использовать обычные твердые поверхности, например, столы, стены, перегородки, в качестве сенсорной клавиатуры без дополнительного оборудования.
Современные AR/MR-гарнитуры зачастую требуют использования ручных контроллеров или предполагают набор текста с помощью виртуальной клавиатуры в воздухе. Это вызывает усталость рук и лишает пользователя тактильной обратной связи. Новая технология решает эти проблемы за счет опоры на реальные поверхности.
В основе метода — естественная физиологическая реакция: при надавливании на твердую поверхность кончики пальцев слегка обесцвечиваются. Камера гарнитуры фиксирует это изменение, а обученная модель искусственного интеллекта анализирует изображение и точно определяет момент касания.
Это исследование означает, что обычные поверхности вокруг нас — стены, столы или перегородки — можно использовать в качестве сенсорной зоны ввода. Более того, этот метод не требует специальных датчиков, маркеров или дополнительных устройств. С ним легко справится любой
Команда обучила ИИ надежно распознавать феномен обесцвечивания на снимках кончиков пальцев, полученных со стандартной камеры гарнитуры. Дополнительно разработана вспомогательная система взаимодействия, обеспечивающая удобный пользовательский интерфейс.
Тестирование с участием пользователей подтвердило эффективность подхода: система стабильно распознает касания к разным материалам (дерево, пластик, металл
Ранее Наука Mail рассказывала, что магнитные буксиры доставили квантовые сенсоры в центр живой клетки.
