Российские нейросети

Ученый выявил «алгоритмическую шизофрению» нейросетей

Современные нейросети не просто отвечают на вопросы, а достраивают реальность при нехватке данных. Такие галлюцинации создают псевдореальности, которые выглядят убедительно и требуют критического отношения.
Автор Наука Mail

Ученые НИУ ВШЭ — Санкт-Петербург обратили внимание на то, что «галлюцинации» искусственного интеллекта можно рассматривать не просто как техническую ошибку, а как симптом более сложного культурного и когнитивного феномена. Научный сотрудник Лаборатории критической теории культуры Растям Алиев посвятил этому работу, опубликованную в журнале «Логос».

Растям Алиев сравнил поведение больших языковых моделей с проявлениями психических расстройств у человека. Расхожий образ ИИ как холодной и безэмоциональной машины плохо совпадает с реальностью — современные нейросети улавливают контекст, чувствительны к интонациям и способны интерпретировать эмоциональные оттенки текста. Вместе с этим они демонстрируют и когнитивные искажения — склонность достраивать недостающие элементы, даже если для этого нет надежных данных.

нейросеть
Сгенерированные нейросетями тексты и изображения часто выглядят правдоподобно, но содержат скрытые ошибкиИсточник: Freepik

Исследователь отметил, что если задать ИИ режим ответа, имитирующий мышление человека с шизофренией, точность формулировок может вырасти. Алгоритм начинает внимательнее относиться к деталям и символам, выстраивая более плотные связи между элементами запроса. Но при усложнении задач ситуация быстро меняется — когда готового ответа в обучающих данных нет, нейросеть смешивает проверенные факты с вымышленными фрагментами. Так возникает метасимулякр — псевдореальность, в которой алгоритм не только воспроизводит мир, но и влияет на способы его понимания.

Это хорошо видно на примере сгенерированных изображений реальных людей и мест. Они легко узнаются, но содержат искажения, которые невозможно объяснить простой ошибкой. При этом ключевая особенность ИИ — неспособность распознать собственную неточность. Алгоритм остается уверенным в ответе даже тогда, когда он далек от реальности, а указание на ошибку часто приводит лишь к новым, столь же недостоверным объяснениям.

В современном мире ИИ становится частью повседневности. К нему обращаются люди, которые нуждаются в психологической помощи, им заменяют сотрудников. Но относиться к нему нужно осторожно. Всегда помните, что ваш собеседник тяжело «болен», перепроверяйте за ним все. 
Растям Алиев
научный сотрудник Лаборатории критической теории культуры НИУ ВШЭ — Санкт-Петербург

Ранее Наука Mail рассказывала о том, что российский алгоритм попал в топ самых востребованных систем машинного обучения.