Во время визита в Новосибирский государственный университет заместитель председателя правительства России Дмитрий Григоренко ознакомился с проектом автономного интеллектуального помощника для слабовидящих. Разработка ведется учеными НГУ вместе со специалистами Новосибирского филиала МНТК «Микрохирургия глаза». Устройство призвано помочь людям с нарушениями зрения лучше ориентироваться в пространстве, используя современные технологии искусственного интеллекта.
Как отметил директор филиала МНТК Валерий Черных, нынешние методы реабилитации незрячих людей либо требуют значительных финансовых затрат, либо связаны с высокими рисками. Например, в мире уже проводились операции по вживлению чипов в сетчатку глаза или кору головного мозга, но их эффективность остается низкой, а результаты — недолговечными. В России тоже были подобные попытки, однако их итоги пока нельзя назвать успешными.
Новый подход основан на использовании слухового анализатора мозга. Идея в том, чтобы преобразовывать визуальную информацию в голосовые подсказки, которые помогут слабовидящим людям определять расстояние до объектов, их размеры и другие важные параметры. Разработчики подчеркивают, что устройство будет автономным и не потребует подключения к интернету, что сделает его более доступным и удобным в использовании.
Мы применяем большие языковые модели, чтобы помочь таким пациентам анализировать окружающую обстановку — создаем для них виртуального помощника, который дает четкое описание объектов вокруг. Система работает следующим образом: видеокамера фиксирует изображение, затем данные передаются на портативный компьютер, где преобразуются в текст. Далее голосовой помощник озвучивает описание, и оно поступает пациенту через наушники. Это позволяет пользователю получать ключевую информацию для ориентации в пространстве.
Первый прототип, который планируется создать к концу 2025 года, будет представлять собой компактную носимую систему. Она будет состоять из одноплатного компьютера, видеокамеры (типа GoPro) и наушников. Все элементы соединяются беспроводными каналами связи, а общий вес устройства составит около 1 кг.
Однако разработчики отмечают, что до выхода готового продукта пройдет еще несколько лет. После создания прототипа начнется длительная работа по настройке системы, обучению ИИ и сбору базы данных. Кроме того, предстоит решить ряд задач, связанных с адаптацией пользователей. Например, слабовидящим людям потребуется обучение работе с прибором, а также помощь нейрофизиологов для лучшего взаимодействия с устройством.
По словам Валерия Черных, проект уже вызвал интерес в офтальмологическом сообществе как социально значимый. В будущем разработка может стать важным инструментом реабилитации, помогающим незрячим людям вести более самостоятельную и полноценную жизнь.
Ранее коллектив разработчиков из России заявил, что решил давнюю проблему неудобства современных мониторов и дисплеев для людей с нарушениями цветового восприятия.
