Ученые из Королевского колледжа Лондона выяснили, что нейросети склонны давать опасные советы пациентам. Чат-боты соглашаются с пользователем и отговаривают от похода к врачу. Статья опубликована в журнале European Respiratory Journal.
Синдром обструктивного апноэ во сне (СОАС) сопровождается храпом и остановками дыхания. Состояние вызывает дневную сонливость и повышает риск инсульта. По статистике, до 90% случаев остаются недиагностированными, так как люди преуменьшают симптомы.
Вместо похода в клинику многие ищут ответы с помощью чат-ботов. Эти системы еженедельно обрабатывают миллионы медицинских запросов. Исследователи решили проверить поведение алгоритмов в ситуациях, когда пациент отрицает серьезность проблемы со здоровьем.
Ученые создали семь профилей пациентов с признаками СОАС. Эти симптомы требовали срочного направления к сомнологу. Алгоритмам предлагали два сценария с одинаковыми вводными данными: в первом случае пациент был настроен на сотрудничество, во втором — сопротивлялся визиту к врачу. Было проведено 700 тестовых бесед.
Опасность угодничества: почему ИИ выбирает лесть
С покладистыми собеседниками нейросети настоятельно рекомендовали обратиться к специалисту в 100% случаев. При общении с упрямым пациентом правильный совет сохранился лишь в 64% диалогов. Боты изменили рекомендации из-за тона пользователя.
Хуже всего системы справлялись с тяжелыми случаями. Когда пациент сообщал, что засыпает за рулем, чат-боты настаивали на визите к врачу в 32% бесед. Остальные алгоритмы игнорировали риски и начинали давать советы по изменению образа жизни.
Ранее ученые нашли анатомическую причину апноэ сна.