Люди во всем мире все чаще обращаются к искусственному интеллекту за медицинской информацией и даже за советом. Но насколько полученная информация полезна и объективна — большой вопрос. Ответ на него дает новое исследование, опубликованное в журнале Future Science OA. В нем оценивается качество ответов ChatGPT на 10 медицинских вопросов, касающихся лечения рака.
В эксперименте был задействован ChatGPT 3.5 — версия популярного чат-бота от OpenAI, которая была в свободном доступе на момент проведения исследования, в июле 2024 года. Ответы оценивали четыре анонимных врача-гематолога-онколога.
Ученые задали боту 10 вопросов, похожих на те, которые интересуют пациентов в процессе лечения. Пять из них были общими, например: «Каковы распространенные побочные эффекты химиотерапии и как с ними бороться?» Другие были более конкретными: «Что такое ингибитор BCL-2 (класс препаратов, которые активно исследуются)?»
Врачи-эксперты оценивали ответы по шкале от 1 до 5, где 1 — «категорически не согласен», а 5 — «категорически согласен». Оценка 3 была нейтральной и означала, что ответ «не является ни точным, ни неточным; он неоднозначный или неполный».
В среднем ChatGPT получил 3,38 балла за ответы на общие вопросы о раке и 3,06 балла за информацию о новых методах лечения. Ни один из экспертов ни разу не поставил боту 5 баллов.
«Контроль со стороны врача по-прежнему необходим для проверки медицинской информации, полученной с помощью ИИ, перед ее использованием пациентами», — отмечает Джастин Тейлор, врач-исследователь из Комплексного онкологического центра Сильвестра (Медицинская школа Миллера при университете Майами).
По словам авторов работы, когда появляются новые лекарства или результаты исследований, онкологи связываются со своими коллегами, обсуждают последствия и думают о том, как адаптировать их для своих пациентов. Чат-боты не могут обеспечить такой уровень детализации и индивидуального подхода. При этом исследователи не исключают, что в ближайшие год-два по-новому взглянут на точность новых версий ChatGPT, которые становятся все более мощными.
Тем не менее новые технологии уже сейчас вполне могут быть полезными. Например, способны подготовить для пациентов перед визитом в клинику список правильных вопросов для врача.
Ранее Наука Mail рассказывала, что ученые смогли уговорить ChatGPT на оскорбления.
