Тип публикации: статья из журнала
Год издания: 2026
Идентификатор DOI: 10.18127/j19997493-202601-02
Ключевые слова: reinforcement learning, deep learning, schedule optimization, neural network models, production planning, Job shop scheduling problem, обучение с подкреплением, глубокое обучение, оптимизация расписаний, нейросетевые модели, производственное планирование, универсальный тип производства
Аннотация: Постановка проблемы. Задача внутрицехового оперативного планирования на производствах универсального типа (Job Shop Scheduling Problem, JSSP) является задачей комбинаторной оптимизации с неполиномиальной сложностью (NP-трудной), в которой необходимо составить очереди работ (jobs) на ограниченное число рабочих мест (machines) для выПоказать полностьюполнения операций таким образом, чтобы минимизировать длительность производственного расписания (makespan). Традиционные методы (точные алгоритмы и различные эвристики) часто оказываются недостаточно эффективными по качеству и времени получения плана при решении задач с большой размерностью исходных данных и плохо адаптируются к динамично изменяющимся производственным условиям. Цель. Исследовать возможности применения современных методов глубокого обучения, в частности, обучения с подкреплением (reinforcement learning, RL), для автоматизации процесса планирования; сравнить планы, полученные с помощью методов глубокого обучения, с планами, сгенерированными классическими методами; оценить перспективы внедрения нейросетевых технологий на предприятии для решения задач планирования. Результаты. Разработаны и реализованы несколько нейросетевых архитектур: модели на основе многослойных персептронов (Learning to Dispatch, L2D), графовых нейронных сетей (Graph Scheduler for Production, GraSP-RL), сетей Петри (PetriRL) и гибридная модель с элементами имитационного обучения (HybridIL). В качестве алгоритма обучения использован алгоритм Proximal Policy Optimization (PPO) с введением механизма маскировки недопустимых действий и ограничением выбора k лучших кандидатов по правилу Shortest Processing Time (SPT). Показано, что обученные агенты способны генерировать производственные планы с уменьшением времени простоев оборудования и временем работы производственной системы, сопоставимыми с планами, сформированными на основе эвристических алгоритмов. Установлено, что обученные нейросети строят производственные планы намного быстрее классических алгоритмов и методов, что важно во внутрицеховом планировании в рамках сменно-суточных заданий. Практическая значимость. Полученные результаты демонстрируют потенциал применения RL-подходов для автоматизации планирования производственных процессов. Для повышения масштабируемости моделей, учёта реальных ограничений производства и дальнейшего повышения качества обучения необходимы дальнейшие исследования, однако разработанные методы уже могут стать основой для интеграции интеллектуальных систем планирования в промышленные решения, повышая эффективность и гибкость управления производством. Problem Statement. The job shop scheduling problem (JSSP) is a combinatorial optimization problem of non-polynomial (NP-hard) complexity, in which it is necessary to assign the processing order of jobs on a limited number of machines so as to minimize the total schedule length (makespan). Traditional methods (exact algorithms and various heuristics) often prove insufficient in terms of solution quality and computational efficiency when solving large-scale problems, and they adapt poorly to dynamically changing production conditions. Objective. To explore the applicability of modern deep learning methods, particularly reinforcement learning (RL), for automating the scheduling process. To compare the schedules generated by deep learning-based methods with those obtained using classical approaches, and to evaluate the potential of neural network technologies for solving scheduling problems in industrial environments. Results. Several neural network architectures were developed and implemented, including models based on multilayer perceptrons (Learning to Dispatch, L2D), graph neural networks (Graph Scheduler for Production, GraSP-RL), Petri net-based networks (PetriRL), and a hybrid model combining reinforcement and imitation learning elements (HybridIL). The Proximal Policy Optimization (PPO) algorithm was used for training, enhanced with an action-masking mechanism and restriction of action selection to the top-k candidates according to the Shortest Processing Time (SPT) rule. The trained agents demonstrated the ability to generate production schedules with reduced machine idle times and total makespan comparable to those obtained by heuristic algorithms. Moreover, the neural networks produced schedules significantly faster than conventional optimization methods, which is especially important for intra-shop planning in shift and daily scheduling tasks. Practical Significance. The obtained results demonstrate the potential of RL-based approaches for automating production scheduling. Further research is required to improve model scalability, incorporate real-world production constraints, and enhance training quality. However, the developed methods can already serve as a foundation for integrating intelligent scheduling systems into industrial solutions, thereby improving the efficiency and flexibility of production management.
Журнал: Динамика сложных систем - XXI век
Выпуск журнала: Т. 20, № 1
Номера страниц: 18-29
ISSN журнала: 19997493
Место издания: Москва
Издатель: ООО "Издательство "Радиотехника"