Перевод названия: ABOUT BOOSTED LEARNING OF NONPARAMETRIC ESTIMATORS
Тип публикации: статья из журнала
Год издания: 2015
Ключевые слова: regression, ensemble learning, Nadaraya-Watson estimator, bandwidth, восстановление регрессии, ансамблевое обучение, непараметрическая оценка Надарая-Ватсона, параметр размытости
Аннотация: Универсальность методов идентификации позволяет применять их как в различных технических областях (в том числе и в ракетно-космической отрасли), так и в медицине, экономике и т. д. В последние годы большое распространение среди методов идентификации получили ансамбли моделей. Идея построения ансамбля состоит в обучении нескольких мПоказать полностьюоделей с последующим их объединением. Одной из основных задач объединения нескольких моделей одного типа является устранение тех или иных недостатков определенных индивидуальных моделей. Рассматриваются некоторые особенности построения непараметрических оценок Надарая-Ватсона, связанные с наличием разреженных областей пространства входных переменных (областей, содержащих малое количество наблюдений в обучающей выборке), а также с поведением непараметрической оценки Надарая-Ватсона вблизи границ областей пространства входных переменных. Предложен подход к формированию ансамбля непараметрических оценок Надарая-Ватсона, основанный на принципах последовательного обучения. Формализована процедура построения предложенного ансамбля последовательного обучения. Приводятся некоторые рекомендации по выбору параметров при построении последовательности непараметрических оценок. Проведены численные исследования, в ходе которых было показано, что точность ансамбля непараметрических оценок Надарая-Ватсона превосходит единственную оценку как в разреженных областях пространства входных переменных, так и в областях с большим количеством наблюдений. Показана высокая точность идентификации вблизи границ пространства входных признаков, а также возможность применения ансамблевого алгоритма для экстраполяции. Versatility of identification methods allows to apply them in different technical areas (including the aerospace industry), as well as in medicine, economics, etc. In recent years, ensemble learning is becoming one of the most common methods of identification. Ensemble methods train multiple learners and further combine their use. One of the main tasks of combining multiple models with the same type is to eliminate certain drawbacks of individual models. This paper deals with some peculiar properties of the Nadaraya-watson kernel estimator. These peculiar properties are related with existence of sparse areas in the space of input variables (some regions contain a small number of observations in the training set) and with the behavior of the Nadaraya-watson kernel estimator near the boundary of the input variables space. The ensemble learning approach proposed by the authors is based on boosted learning of nonparametric estimators. There is a formalized approach to ensemble building with configurable parameters and there are some guidelines for choosing these parameters. The numerical researches shows that proposed boosted ensemble is significantly more accurate than a single Nadaraya-watson kernel estimator both in case of sparse areas in the space of input variables, and in case of areas with a large number of observations in the training set. Also the numerical research demonstrates high accuracy of proposed boosted ensemble near the boundary of the input variables space and shows the possibility of using boosted ensemble in the extrapolation problem.
Журнал: Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева
Выпуск журнала: Т. 16, № 3
Номера страниц: 604-610
ISSN журнала: 18169724
Место издания: Красноярск
Издатель: Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева"