От алгоритмов к интуиции: как ИИ понимает языки

Новое исследование ученых Гарвардского университета показывает, что искусственный интеллект меняет стратегию понимания текста при обучении: сначала он ориентируются на позицию слов, а затем резко переключается на их смысл.

Исследование описывает резкое изменение стратегий понимания текста во время обучения нейронной сети

Источник: Kandinsky 4.1

Современные языковые модели, такие как ChatGPT, Gemini и Claude, демонстрируют впечатляющие способности в обработке естественного языка. Они могут вести осмысленные диалоги, писать тексты и даже анализировать сложные данные. Однако внутренние механизмы, позволяющие им понимать человеческую речь, до сих пор остаются загадкой. Новое исследование ученых Гарвардского университета проливает свет на этот процесс. Обнаружено, что искустенный интеллект вначале полагается на позицию слов в предложении, но при достижении критического объема данных быстро переключается на анализ их смысла.

Процесс обучения ИИ во многом напоминает то, как ребенок осваивает язык. Сначала система запоминает порядок слов, определяя их роль в предложении по местоположению. Например, в фразе «Мария ест яблоко» подлежащее «Мария» обычно стоит перед глаголом «ест», а тот, в свою очередь, перед дополнением — «яблоко». На ранних этапах обучения искусственный интеллект использует именно эту стратегию, выстраивая связи между словами на основе их позиции.

Исследование показывает, что когда для обучения используются небольшие объемы данных, нейронные сети изначально полагаются на положение слов в предложении

Источник: Freepik

Однако, как выяснили исследователи, при достаточном объеме тренировочных данных происходит резкий переход. ИИ начинает игнорировать позицию слов и фокусируется исключительно на их семантике. Этот сдвиг напоминает фазовый переход в физике — момент, когда система внезапно меняет свое состояние, как вода, превращающаяся в пар при нагревании.

Хьюго Куи, научный сотрудник Гарвардского университета и ведущий автор исследования, объясняет, что такой переход происходит не постепенно, а скачкообразно.

«Когда мы начали эту работу, то ожидали, что нейросеть будет комбинировать разные стратегии, — говорит Куи. — Но оказалось, что ниже определенного порога данных она использует только позиции слов, а выше — только их значение.»

ИИ начинает с понимания предложений на основе позиций слов: в зависимости от того, где слова расположены в предложении

Источник: Freepik.com

Это открытие стало возможным благодаря изучению механизма внутреннего внимания — ключевого компонента архитектуры трансформеров, лежащей в основе современных языковых моделей. Трансформеры анализируют текст, оценивая значимость каждого слова относительно других. Изначально они опираются на синтаксические паттерны, но при достижении определенного уровня обучения переключаются на семантику.

Ранее стало известно, что машинное обучение способно обнаружить ложь. Новый масштабный обзор ученых из ОАЭ подтверждает: алгоритмы глубокого обучения, анализируя речь, текст и даже мимику, распознают обман эффективнее привычных методов. 

Понимание того, как ИИ учится обрабатывать текст, имеет большое значение для развития искусственного интеллекта. Во-первых, это позволяет оптимизировать обучение моделей, сокращая объем данных, необходимых для достижения высоких результатов. Во-вторых, знание внутренних механизмов помогает повысить безопасность ИИ, предотвращая неожиданное поведение систем.