Ученые создали инструмент G‑AUDIT, чтобы находить скрытые проблемы в данных, на которых обучают медицинский искусственный интеллект. Дело в том, что ИИ порой делает выводы не на основе по-настоящему важных признаков, а опираясь на случайные детали — примерно как лошадь Ганс, которая «считала», улавливая незаметные подсказки хозяина. Например, модель, определяющая пол по глазам, могла ориентироваться не на биологические особенности, а на наличие туши для ресниц.
Инструмент анализирует сами обучающие данные и показывает, какие элементы могут сбить ИИ с толку. Так, в наборе данных о раке кожи были снимки из разных клиник: в одной чаще встречались случаи рака, в другой — реже, да и аппаратура там отличалась по качеству. Еще на фото из онкологической клиники нередко попадались линейки — их использовали, чтобы отслеживать рост новообразований. Из‑за этого ИИ мог ошибочно решить, что рак предсказывают линейка или характеристики камеры. В реальной жизни, скажем, при съемке на смартфон, этих факторов не будет — и работа модели окажется ненадежной.
G‑AUDIT проверяет разные типы данных — от изображений до таблиц — и ранжирует признаки, которые несут риск ошибочных выводов. Авторы подчеркивают: важно не просто проверять готовую модель, а заранее разбираться, какие подвохи могут прятаться в данных. В будущем инструмент планируют развивать и применять не только в медицине.
Ранее Наука Mail рассказывала о том, что хакеры научились подменять «воспоминания» ИИ: новая угроза.