Искусственный интеллект все шире применяется в здравоохранении — от выявления признаков заболеваний до предсказания исхода лечения. Но многие системы работают как «черный ящик», выдавая результат без объяснения логики, и врачам трудно понять, не допущена ли ошибка. Новые нормативные акты требуют прозрачности и значимого контроля со стороны человека.
Один из подходов — концептуальные модели ИИ, которые принимают решения на основе клинически значимых понятий: артериального давления, лихорадки, размера опухоли, аномалий на снимке. Врачи видят, какие концепции повлияли на решение, и могут его проанализировать. Но у таких моделей есть уязвимость — «утечка информации», когда понятия содержат скрытые данные, недоступные человеку. Система выглядит интерпретируемой, а на деле ведет себя как замаскированный «черный ящик».
Вместо того чтобы ставить телегу впереди лошади, пока сфера ИИ стремительно внедряет модели для решения реальных проблем, мы сделали шаг назад, чтобы понять, что нужно для того, чтобы эти системы были безопасными и надежными. Наша работа была сосредоточена на выявлении ограничений и их устранении, чтобы мы могли более безопасно внедрять эти модели в клиническую практику
Исследователи из Королевского колледжа Лондона и Института Алана Тьюринга разработали систему из двух показателей: утечки информации между концепциями и задачами (Concepts-Task Leakage, CTL), фиксирующей скрытую информацию, связанную с прогнозом, и утечки информации между концепциями (Interconcept Leakage, ICL), регистрирующей скрытую информацию, общую для нескольких концепций.
Фреймворк протестировали на нескольких наборах данных — он надежно выявлял утечку и предсказывал реакцию моделей на намеренное изменение их концепций. По словам авторов, ИИ на основе концепций может сделать системы прозрачнее, но исследование показывает, что модели могут казаться интерпретируемыми, опираясь на скрытую от человека информацию. Выявляя и измеряя эту скрытую информацию, можно сделать шаг к созданию более прозрачных систем. Исследование опубликовано в Journal of Machine Learning Research.
Исследование содержит практические рекомендации по разработке концептуальных моделей, минимизирующих утечку данных. Сейчас команда работает над применением этих подходов к реальным клиническим задачам.
Ранее Наука Mail рассказывала, как искусственный интеллект помогает сохранить десятилетия научных наблюдений.