Тип публикации: статья из журнала
Год издания: 2026
Идентификатор DOI: 10.7256/2454-0714.2026.2.79834
Ключевые слова: robustness, machine learning models, prediction, student performance, algorithm, learning analytics, data drift, noise, Shap, stress-testing, робастность, модель машинного обучения, прогнозирование, успешность обучения, алгоритм, учебная аналитика, дрейф данных, зашумление, стресс-тестирование
Аннотация: Объектом исследования является процесс прогнозирования академической успешности студентов. Предметом исследования является робастность моделей машинного обучения, прогнозирующих успешность. Большинство современных моделей прогнозирования обучены на фиксированных наборах данных, и предполагается, что будущие данные будут статистичесПоказать полностьюки похожи на обучающие. Однако модели могут не обладать устойчивостью к дрейфу данных и шуму. В рамках работы робастность рассматривается как устойчивость к указанным явлениям. Целью исследования является разработка алгоритмов оценки устойчивости моделей к дрейфу данных и шуму. Исследование проводилось на моделях, прогнозирующих успешность по дисциплинам "Теория вероятностей" и "Математическая статистика". Уровень робастности оценивался на основе сравнения качества прогнозирования по данным о студентах, получивших оценки по прогнозируемым дисциплинам в более ранний период (2017-2023 годы) и в более поздний (2024, 2025 годы). Для обнаружения дрейфа предикторов предложен алгоритм, использующий значения SHAP. Для оценки устойчивости моделей к шуму предложен алгоритм стресс-тестирования, основанный на двух способах внесения шума. В результате на языке Python реализован комплекс алгоритмов для оценки робастности моделей. Комплекс протестирован на всех рассматриваемых моделях. Установлено, что качество прогнозирования моделей, обученных на более ранних данных, практически не снижается при прогнозировании по более поздним данным. Наиболее высокий уровень робастности показали модели «Random Forest» и «Extreme Gradient Boosting» при прогнозировании успешности по теории вероятностей и полносвязная нейронная сеть при прогнозировании успешности по математической статистике. Указанные модели демонстрируют наибольшую устойчивость к дрейфу данных и шуму. Остальные рассматриваемые модели в большей степени подвержены влиянию дрейфа и шума. Предложенный комплекс алгоритмов также может быть применён для оценки робастности и других моделей машинного обучения. The object of the research is a process of predicting student performance. The subject of the research is the robustness of machine learning models for predicting student performance. The majority of modern prediction models are trained on fixed datasets and it is assumed that the future data follows the same statistical distribution as the training data. However, models may not be resistant to data drift and noise. In this study, the robustness is defined as resistance to these phenomena. The aim of the research is to develop algorithms for assessing model resistance to data drift and noise. The research was conducted using models for predicting student performance in the subjects of Probability Theory and Mathematical Statistics. The level of robustness was determined by comparing the prediction performance using data from students who received grades in the target subjects during an earlier period (2017-2023) and a later period (2024, 2025). An algorithm based on SHAP values is proposed for detecting drift in predictors. A stress-testing algorithm based on two noise injection methods is proposed for assessing model resistance to noise. As a result, a framework for assessing model robustness was implemented in Python. The framework was tested on all considered models. It was found that the prediction performance of the considered models trained on earlier data does not significantly deteriorate when predicting on later data. The highest level of robustness was demonstrated by Random Forest and Extreme Gradient Boosting for predicting performance in Probability Theory and a fully connected neural network for predicting performance in Mathematical Statistics. These models exhibit the highest resistance to data drift and noise. The remaining models are more susceptible to the influence of drift and noise. The proposed framework can also be applied to evaluate the robustness of other machine learning models.
Журнал: Программные системы и вычислительные методы
Выпуск журнала: №2
Номера страниц: 268-285
ISSN журнала: 23056061
Место издания: Москва
Издатель: Даниленко Василий Иванович