В 2024 году Google громко презентовала свой ИИ — продвинутую модель, которая умеет читать снимки КТ, писать заключения и анализировать медкарты. Все звучало убедительно, пока в официальной научной статье не всплыло нечто странное: Med-Gemini поставил диагноз «инфаркт в левых базилярных ганглиях», сообщает The Verge.
Проблема в том, что такой области мозга у людей просто нет. Есть отдельно базальные ганглии, отвечающие за движения и привычки, и базилярная артерия у основания мозга. Но ИИ зачем-то их объединил — и выдал это как медицинский факт. Компания Google молча подправила блог, но статью с «открытием» так и не переписала. В компании объяснили все «распространенной опечаткой». Но для медицины такие оговорки — не мелочь, а повод для тревоги.
Мне говорят: если ИИ будет ошибаться не больше, чем врач — уже хорошо. А я не согласен. У него должна быть планка выше. Нам нужен не аналог человека, а что-то надежнее.
В мире ИИ такие проколы называют «галлюцинациями». Старшая версия модели, MedGemma, пошла еще дальше. Она давала разные ответы на один и тот же вопрос — в зависимости от формулировки. Как объясняют эксперты, главная беда в том, что ИИ не говорит «не знаю». Он предпочитает придумать, чем признаться в пробеле. А в медицине это непозволительно.
Несмотря на все эти сбои, Google не собирается останавливаться: компания внедрила функцию Overviews, которая уже выдает советы по здоровью прямо в поиске. Параллельно запускается «ИИ-научный ассистент» для исследований новых лекарств. Все это звучит захватывающе. Но кто проверит, что он не перепутал «артерию» с «ганглием» в очередной раз?
Ранее Наука Mail рассказывала про очередной случай галлюцинация у нейросетей: ресторан в Индии сгенерировал описание блюда с симптомами ветрянки.
