Компания Google утверждает, что при запросах о здоровье появляется функция AI Overviews, которая предупреждает пользователей о том, что информацию следует проверить у специалистов. Однако оказалось, что это предупреждение выдается только в случае расширенных распросов. Об опасности слепого доверия рекомендациям ИИ рассказывает The Guardian.
При первичном запросе по медицинской теме пользователи не получают предупреждения об опасности, а при нажатии кнопки «Показать больше» информация о возможных ошибках ИИ появляется в самом конце рекомендаций и дана мелким светлым шрифтом, на который люди могут не обратить внимания.
По мнению экспертов, отсутствие предупреждения при первичном предоставлении медицинских рекомендаций подвергает людей риску. Даже самые современные модели ИИ часто генерируют ложную информацию, потому что руководствуются не точностью, а стремлением угодить пользователям.
Кроме того, пользователи часто некорректно или недостаточно четко формулировать запрос, что приводит к неправильным рекомендациям, и впоследствии, риску для здоровья.
Система рассчитана на быстрый поиск информации. Часто люди, получив краткий обзор, уверены, что получили полный и компетентный ответ на свой запрос. Отсутствие предупреждения о проверке вселяет в пользователей уверенность в качестве рекомендаций и заставляет их переходить по ссылкам, которые могут нанести им вред.
Ученые уверены, что отказ Google от ответственности за информацию может разрушить доверие пользователей. Они считают, что предупреждение о необходимости проверки информации должно находиться на самом видном месте, а также еще раз повторяться в тексте, чтобы у людей не возникало иллюзии точности информации, сгенерированной ИИ.
После расследования, проведенного The Guaridian, компания Google удалила рекомендации ИИ по некоторым медицинским запросам, но далеко не всем. Для предотвращения дезинформации необходимо в самом начале обзоров напоминать пользователям о необходимости консультации со специалистом.
Ранее Наука Mail рассказывала о том, что экологи обучили ИИ распознавать медведей.
