Большие языковые модели нередко теряют точность, когда их просят вести себя как эксперты: вместо извлечения знаний модель начинает просто следовать правилам роли. Это снижает качество ответов в задачах на проверку фактов.
Исследователи из Калифорнийского университета изучили проблему на примере 12 персонажей и шести языковых моделей — среди ролей были эксперты по математике, программированию, технологиям, а также писатели и специалисты по технике безопасности, пишет TechXplore.
Команда разработала метод PRISM (Persona Routing via Intent-based Self-Modeling), который помогает ИИ принимать решение: использовать ли «экспертную личность» в ответе или обойтись без нее.
Принцип работы PRISM выглядит следующим образом. На каждый запрос пользователя модель готовит два варианта ответа — один с использованием роли эксперта, другой без нее. Затем система проводит сравнение этих ответов по критериям точности и безопасности. В итоге пользователю предлагают тот вариант, который показал лучшие результаты по заданным параметрам.
При этом даже если выбран обезличенный ответ, ценные экспертные знания не теряются: они сохраняются в легковесном компоненте (LoRA-адаптере) и могут быть использованы позже.
В тестировании системы приняли участие 12 персонажей, в том числе в области медицины и юриспруденции. Результаты показали интересную закономерность: в задачах на базовые знания добавление экспертной роли иногда снижало точность, но в сценариях, связанных с написанием текстов и обеспечением безопасности, такой подход работал эффективнее. В целом метод повысил общий балл ИИ на один-два пункта на тесте, оценивающем, насколько хорошо модель следует инструкциям и поддерживает доброжелательный тон.
Технология PRISM улучшает результаты в двух типах задач. Во-первых, в генеративных — когда ИИ создает что-то новое: пишет тексты, сочиняет истории, генерирует идеи. Во-вторых, в дискриминативных — когда модель анализирует данные, проверяет факты, классифицирует информацию или отвечает на вопросы с однозначным ответом. Для всех протестированных больших языковых моделей удалось добиться и большей безопасности в первом случае, и высокой точности во втором. Это подтверждает выводы исследования.
В планах разработчиков — дальнейшее совершенствование PRISM: расширение тестирования на большее число пользователей и повышение способности системы прогнозировать потребности людей.
Ранее Наука Mail рассказывала, что создан ИИ, который тратит в 100 раз меньше энергии.
