Ученые выяснили, когда результатам искусственного интеллекта можно доверять, а когда даже самый мощный ИИ не сможет дать надежный ответ, в том числе если дать ему очень много данных.
Чтобы узнать слабые места ИИ, исследователи создали специальные «противоборствующие» системы, которые работают как этичные хакеры: проверяют, где и почему алгоритм ошибается. Это помогает понять, решаема ли задача в принципе или она выходит за пределы возможностей машинного обучения.
Часто ИИ используют, чтобы изучать очень сложные системы, например, океан, работу мозга или поведение роботов. Но тут возникают проблемы: иногда алгоритм просто не понимает, собрал ли он уже достаточно данных для точного прогноза, а бывает, что закономерности в системе скрыты и их почти невозможно разглядеть. Еще одна трудность — хаос: малейшее изменение исходных условий со временем сильно искажает результат. Из‑за этого краткосрочные прогнозы могут быть верными, а долгосрочные — нет.
Именно эта нестабильность объясняет, почему чат‑боты, например, ChatGPT, иногда уверенно выдают правдоподобные, но ложные факты: небольшой нюанс в вопросе может незаметно увести ответ далеко от реальности.
Ученые предложили способ классифицировать задачи по тому, сколько шагов нужно, чтобы их решить. Если данные плохо структурированы, алгоритм даже с огромным их объемом будет угадывать примерно как при подбрасывании монеты — то есть задачу можно считать неразрешимой для ИИ.
Кроме того, команда разработала новый алгоритм со встроенными границами погрешности, который показывает, насколько можно доверять ответу. При этом он работает намного экономичнее большинства суперкомпьютерных решений. Его проверили на данных об арктическом морском льде за 40 лет: алгоритм нашел скрытые закономерности в сокращении льда и обошел современные ИИ‑модели, причем расчеты удалось провести на обычном ноутбуке.
Ранее Наука Mail рассказывала о том, что происходит с мозгом во время общения с нейросетью.