Что происходит, когда вы пытаетесь понять сложный текст и осознаете, что нужен другой подход? Эта способность размышлять о своем мышлении называется метапознанием. До недавнего времени она была слабо изучена в системах искусственного интеллекта. Группа ученых работает над тем, чтобы это изменить. Как сообщает The Conversation со ссылкой на профессора компьютерных наук из Университета штата Фичбург (США) Рики Дж. Сети, ученые разработали модель, которая позволяет большим языковым моделям, подобным ChatGPT, отслеживать свои внутренние «когнитивные» состояния.
Современные генеративные системы ИИ создают ответы, но не понимают, насколько они уверены, содержат ли противоречия или требуют дополнительного внимания. Это становится проблемой в таких областях, как медицина или финансы, где ошибка из-за излишней уверенности системы может иметь серьезные последствия. Например, медицинский ИИ мог бы не просто ставить диагноз, а замечать противоречивые симптомы и переключаться на более тщательный режим анализа.
Для этого нужна метакогниция, включающая самосознание и саморегуляцию. Вдохновленная нейробиологией, предложенная концепция использует «вектор метакогнитивного состояния» — количественную меру внутреннего состояния ИИ по пяти направлениям. Эти направления можно представить как датчики собственного «мышления»: оценка корректности ответа, эмоциональная окраска контента, схожесть с предыдущим опытом, выявление внутренних противоречий и важность решаемой проблемы.
Модель преобразует эти качественные самооценки в количественные сигналы, которые могут управлять реакцией системы. Когда уверенность падает или растет число противоречий, ИИ может переключиться с быстрой, интуитивной обработки на медленное, обдуманное рассуждение.
Практическое значение такой системы выходит за рамки повышения интеллектуальных способностей. В здравоохранении она могла бы передавать сложные случаи с нестандартными симптомами экспертам. В образовании — адаптировать подачу материала, заметив непонимание у ученика. Кроме того, это делает процесс принятия решений ИИ более прозрачным. Система получает возможность объяснять уровень своей уверенности, указывать на неопределенности и обосновывать выбор стратегии мышления, что важно для доверия в регулируемых отраслях. Авторы подчеркивают, что их работа не ставит целью создать машины с сознанием. Это вычислительная архитектура для лучшего распределения ресурсов и улучшения ответов.
Ранее Наука Mail рассказывала, почему технологический рай может обернуться деградацией.
