Технологии, которые помогают людям с нарушениями зрения ориентироваться в пространстве, за последние годы заметно продвинулись, но еще остаются возможности их усовершенствовать. Команда Университета штата Пенсильвания предложила NaviSense — приложение, созданное на основе реальных запросов пользователей и способностей современных моделей искусственного интеллекта.
NaviSense распознает нужные предметы в реальном времени и направляет к ним голосовыми и вибросигналами. В тестах такая навигация показалась участникам точнее и естественнее, чем в существующих помощниках. Разработка была представлена на конференции SIGACCESS ASSETS`25 в Денвере и получила приз зрительских симпатий.
NaviSense отличается тем, что подключается к внешнему серверу с крупными языковыми и визуально-языковыми моделями. Благодаря этому приложение описывает окружающую обстановку без заранее загруженных библиотек объектов, которые раньше сдерживали подобные сервисы. Система быстро реагирует на устные запросы, уточняет непонятные команды и определяет предметы «по ходу дела».
Приложение отслеживает движение руки и подсказывает, где находится нужный предмет относительно телефона — выше, ниже, левее или правее. Эта функция оказалась одной из самых востребованных, хотя готовых решений такого уровня раньше не было.
В испытаниях с участием 12 добровольцев NaviSense заметно сократил время поиска объектов и повысил точность их определения по сравнению с двумя коммерческими аналогами. Участники также отметили более удобный и понятный формат работы.
Ранее Наука Mail рассказывала о том, что эмоциональное мяуканье поможет создать эмпатичный ИИ.
