Команда исследователей из Научно-образовательных школ Московского государственного университета провела анализ текстов, сгенерированных искусственным интеллектом, с эссе, письмами, статьями, написанными людьми. В результате эксперимента ученые предложили свои рекомендации по выявлению ИИ-текстов по признакам их длины, лексического разнообразия, наличия плагиата. Данные, полученные исследователями, были опубликованы в журнале Frontiers in Artificial Intelligence and Applications.
В ходе исследования ученые изучили тексты, созданные четырьмя известными нейросетями, которые отвечали на письменные задания из учебников по английскому языку. Для анализа были выбраны крупные языковые модели, которые по результатам предыдущих исследований демонстрируют высокие показатели в построении аргументов и логических рассуждениях. При этом 80% сгенерированных текстов показали уровень уникальности выше 75% при проверке.
После использования ИИ-редакторов в текстах студентов значительно увеличивается доля сложной лексики — она составляет не менее 15% от общего объема текста. Однако чат-боты при этом не оказывают заметного влияния на успешность выполнения коммуникативных заданий. Ученые намерены продолжать исследования, в частности, собираются выявить наиболее эффективные запросы (промты) при составлении текстов.
«Очевидно, что возможности открытых систем, таких как GPT, позволяют работать с гораздо большим количеством входных данных и получать гораздо более креативные результаты», — отметил доцент кафедры вычислительных методов факультета ВМК МГУ Владимир Терновский.
Ранее Наука Mail рассказывала об обучении ИИ взаимодействию с пользователями на различных европейских языках.