Ученые из Института AIRI, Высшей школы экономики и университета Иннополис выяснили, что большие языковые модели (LLM) могут укорачивать русскоязычные тексты за счет обсценного лексикона без заметной потери смысла. Об этом рассказали в пресс-службе Института AIRI.
Идея возникла при изучении фильтров для контента с разными возрастными ограничениями. Перед командой встала задача — не просто обучить ИИ вычищать грубые слова из текстов, а сделать так, чтобы нейросеть переводила текст в нейтральный регистр с минимальной потерей смысла.
В процессе выяснилось, что при создании текстов LLM нередко используют нецензурную лексику без внятной функции и вставляют в предложения мат «просто так». Известно, что в живой речи одно емкое запретное слово может заменять целое предложение и работать как сверхплотная упаковка смысла. Так и родилась следующая мысль — целенаправленно использовать этот эффект для сжатия текстов для экономии вычислительных ресурсов (под сжатием понимается уменьшение длины высказывания с минимальной потерей смысла).
Словарь соответствий между нейтральными выражениями и обсценными аналогами собирали из открытых источников (например, Wiktionary) и дополняли вручную. Фразы должны были быть близки по семантике и контексту употребления.
«Технически рассматривались модели Qwen2.5−7B-Instruct и Llama-3.1−8B-Instruct с числом параметров до порядка 8 миллиардов. К слову, из-за жестких настроек выравнивания Llama даже после дообучения практически отказывалась генерировать обсценную лексику. В итоге исследователи сосредоточились на авторегрессионной LLM и применили RL-дообучение с составной функцией награды. В нее включили штраф за превышение целевой длины текста и поощрение за использование обсценного лексикона именно как средства компрессии. Бонус начислялся, только если модель одновременно сокращала текст и сохраняла его смысл», — рассказали в AIRI.
Подход тестировали на двух наборах данных:
- короткие предложения длиной от 3 до 50 токенов;
- новостные тексты и редакторские саммари.
Одной из сложностей работы стало то, что большинство открытых датасетов содержит только отдельные фрагменты или обрывки диалогов, которые не дают понять нюансы использования слов (шутка, агрессия, эмоциональное усиление, «слово-паразит»). В будущем исследователи намерены собрать более качественные и контекстно богатые данные, чтобы ИИ понимал эти тонкости.
Наша главная цель — не научить ИИ ругаться как человек, а использовать лингвистический феномен «смысловой плотности» для улучшения алгоритмов. Рабочая модель в итоге не использует нецензурную лексику при обработке обычных текстов. Тренировка на контрастных примерах (нейтральная фраза — очень короткая эмоциональная замена) позволила ИИ тоньше улавливать суть высказываний. Сферы образования, профессиональное общение, публичные интерфейсы и официальные сервисы рассматриваются как недопустимые для применения мата даже в экспериментальном режиме
Работа была представлена на конференции AAAI в Сингапуре (А*).
Ранее Наука Mail рассказывала об опасностях использования нейросетей для решения рабочих задач.
