Разработка программного обеспечения немыслима без юнит-тестов — небольших проверок, которые убеждаются в корректности работы каждой отдельной функции или метода. Сегодня большие языковые модели все чаще берут на себя рутинную задачу по их написанию, освобождая время программистов для более сложных задач. Однако у этого подхода есть серьезная проблема: автоматически сгенерированные тесты часто страдают от плохого дизайна, что делает их трудными для понимания, поддержки и дальнейшего анализа.
Специалисты факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова предложили способ решения этой проблемы. Вместо того чтобы просто учить нейросеть выдавать результат, ученые сфокусировались на структуре получаемого кода. Их подход позволяет сделать качество создаваемого ИИ-кода более управляемым и предсказуемым.
Секрет нового метода кроется в системе «кнута и пряника» для алгоритма. Исследователи применили обучение с подкреплением — модель получает не абстрактную оценку за конечный результат, а детальный сигнал о том, какие именно элементы структуры теста нуждаются в доработке. Если встроенный статический анализатор обнаруживает в коде дефект дизайна, нейросеть получает штраф, а за чистый и логичный тест — вознаграждение. В ходе такого обучения искусственный интеллект учится избегать типичных архитектурных ошибок.
Для тренировки модели был собран крупный датасет на основе реальных проектов на языке Python, включающий как сами методы программ, так и написанные к ним юнит-тесты. Для каждого набора тестов специальные инструменты статического анализа фиксировали наличие или отсутствие недостатков дизайна. Первые эксперименты доказали работоспособность предложенного подхода. В перспективе ту же методику можно адаптировать для улучшения других критериев качества кода — обучая ИИ делать результат более понятным, структурированным и удобным для человека.
Ранее декан МГУ объяснил, как изменятся домашние задания из-за нейросетей.