Ученые из Северной Каролины предложили простой, но эффективный способ избавить алгоритмы искусственного интеллекта от ложных корреляций, когда модели принимают решения на основе несущественных и вводящих в заблуждение признаков.
Их работа, опубликованная на arXiv и представленная на конференции ICLR в Сингапуре, показывает, что достаточно удалить небольшой, но «проблемный» фрагмент обучающих данных — и модель перестанет опираться на ложные зависимости, сохранив свою точность.
Ложные корреляции возникают из‑за «смещения в сторону простоты»: во время тренировки ИИ запоминает самые легкие для распознавания признаки. К примеру, если большинство собак на фото носит ошейники, модель может «решить», что наличие ошейника и есть главный признак собаки. В итоге она с высокой долей уверенности примет кошку в ошейнике за пса.
Ключевая идея исследования — не пытаться заранее найти и удалить эти вводящие в заблуждение признаки вручную, а вычислять, какие отдельные примеры в датасете оказались для сети наиболее «трудными». Такие образцы, по замыслу авторов, обычно полны нечетких или случайных артефактов — именно они приводят модель к ошибкам.
«Мы оценивали сложность каждого обучающего примера по тому, насколько модель «борется» с ним во время тренировки, — объясняет доцент компьютерных наук, соавтор работы Джун‑Ин Ким. — Удаляя всего несколько процентов самых «тяжелых» примеров, мы автоматически устраняем те данные, в которых скрыты ложные корреляции, при этом практически не затрагивая общую эффективность модели».
Первым автором статьи выступил аспирант Варун Мулчанданни. Вместе с коллегами он протестировал метод на стандартных бенчмарках и получил улучшение качества, сопоставимое или превосходящее существующие техники, для которых необходимо знать конкретные ложные признаки.
«Наша методика универсальна: она работает даже тогда, когда вы не знаете заранее, какие именно признаки вводят модель в заблуждение, — добавляет Ким. — Если ваша система неожиданно начала хуже выполнять задачи, но вы не понимаете, в чем причина, наш подход поможет выявить и устранить проблему».
Авторы уверены, что удаление самых «трудных» примеров из обучающего набора легко масштабируется и может применяться на любых платформах ИИ, упрощая разработку надежных моделей без длительной ручной очистки данных.
Предлагаем вам также узнать, как искусственный интеллект научился скрывать свои манипуляции от создателей.