Тип публикации: статья из журнала
Год издания: 2026
Идентификатор DOI: 10.17587/prin.17.535-541
Ключевые слова: software engineering, large language models, software agents, software code generation, self-modification, fitness function, Search-Based Optimization, software quality assessment, программная инженерия, большие языковые модели, программные агенты, генерация программного кода, самомодификация, функция пригодности, поисковая оптимизация, оценка качества программных систем
Аннотация: Рассмотрена задача разработки программных агентов на основе больших языковых моделей, способных автоматически выполнять отдельные операции по изменению программного кода, проверке результата и накоплению опыта предыдущих действий. Предложен подход к управляемому улучшению программных систем, при котором агент формирует гипотезы измПоказать полностьюенений, вносит модификации в кодовую базу, запускает тестовый контур и оценивает полученный результат с использованием функции оценки качества. Управляемость процесса обеспечивается за счет фиксированных условий эксперимента, автоматической проверки изменений и сопоставления результатов различных стратегий поведения агента. Для экспериментальной оценки разработан стенд RSI-Bench, предназначенный для сравнения стратегий поведения программных агентов при решении задач модификации кода. В качестве основной метрики использовалась успешность прохождения автоматических тестов. Дополнительно фиксировались вычислительные затраты и число итераций, необходимых для получения результата. Проведенные эксперименты показали, что в рассмотренных условиях качество решений зависит не только от выбранной стратегии поведения агента, но и от базовой языковой модели, конкретной реализации агента и случайной вариативности между запусками. Установлено, что стратегии самомодификации на уровне текстовых инструкций дают ограниченный и нестабильный эффект. Полученные результаты могут использоваться при разработке систем автоматизированной поддержки программной инженерии и средств оценки качества изменений программного кода. The paper addresses the problem of developing software agents based on large language models capable of automatically performing individual operations related to software code modification, result verification, and accumulation of experience from previous actions. An approach to the controlled improvement of software systems is proposed, in which an agent generates hypotheses of code modifications, applies changes to the codebase, executes a testing pipeline, and evaluates the obtained result using a quality assessment function. Process controllability is ensured through fixed experimental conditions, automated verification of modifications, and comparison of different agent behavior strategies. For experimental evaluation, the RSI-Bench framework was developed to compare strategies of software agent behavior in code modification tasks. The primary evaluation metric was the success rate of automated test execution. Additionally, computational cost and the number of iterations required to obtain a result were recorded. The conducted experiments demonstrated that solution quality depends not only on the selected agent behavior strategy, but also on the underlying language model, the specific agent implementation, and stochastic variability between runs. It was found that self-modification strategies implemented at the level of textual instructions provide a limited and unstable effect. The obtained results may be used in the development of automated software engineering support systems and approaches for assessing the quality of software code modifications.
Журнал: Программная инженерия
Выпуск журнала: Т. 17, № 10
Номера страниц: 535-541
ISSN журнала: 22203397
Место издания: Москва
Издатель: ООО "Издательство "Новые технологии"