Ensembles of gradient boosting recurrent neural network for time series data prediction

یادگیری عمیق مجموعه‌ای می‌تواند نقاط قوت شبکه‌های عصبی و یادگیری مجموعه‌ای را ترکیب کند و به تدریج به یک جهت تحقیقاتی نوظهور تبدیل می‌شود. با این حال، روش‌های موجود یا فاقد پشتیبانی نظری هستند یا نیاز به مدل‌های یکپارچه بزرگ دارند. برای حل این مشکلات، در این مقاله، مجموعه‌های شبکه عصبی بازگشتی ارتقای گرادیان (EGB-RNN) پیشنهاد می‌شود که چارچوب مجموعه ارتقای گرادیان را با سه نوع مدل شبکه عصبی بازگشتی، یعنی واحد دروازه‌ای حداقلی (MGU)، واحد بازگشتی دروازه‌ای (GRU) و حافظه کوتاه‌مدت طولانی (LSTM) ترکیب می‌کند. مدل RNN به عنوان یادگیرنده پایه برای ادغام یک یادگیرنده مجموعه‌ای از طریق روش ارتقای گرادیان استفاده می‌شود. در همین حال، برای اطمینان از تناسب بهتر مدل مجموعه‌ای با داده‌ها، الگوریتم تکرار مرحله‌ای طراحی شده است تا نرخ یادگیری مناسب پیش از ادغام مدل‌ها پیدا شود. آزمایش‌های مقایسه‌ای بر روی چهار مجموعه داده سری زمانی انجام شده است.نتایج تجربی نشان می‌دهند که با افزایش تعداد ادغام، عملکرد سه نوع مدل EGB-RNN تمایل به همگرا شدن دارد و بهترین مدل EGB-RNN و بهترین درجه‌ی تجمیع با مجموعه داده‌ها متفاوت است. همچنین در نتایج آماری نشان داده شده است که مدل‌های طراحی شده EGB-RNN عملکرد بهتری نسبت به شش مدل پایه دارند.

Ensemble deep learning can combine strengths of neural network and ensemble learning and gradually becomes a new emerging research direction. However, the existing methods either lack theoretical support or demand large integrated models. To solve these problems, in this paper, Ensembles of Gradient Boosting Recurrent Neural Network (EGB-RNN) is proposed, which combines the gradient boosting ensemble framework with three types of recurrent neural network models, namely Minimal Gated Unit (MGU), Gated Recurrent Unit (GRU) and Long Short-Term Memory (LSTM). RNN model is used as base learner to integrate an ensemble learner, through the way of gradient boosting. Meanwhile, for ensuring the ensemble model fit data better, Step Iteration Algorithm is designed to find an appropriate learning rate before models being integrated. Contrast trials are carried out on four time series data sets. Experimental results demonstrate that with the number of integration increasing, the performance of three types of EGB-RNN models tend to converge and the best EGB-RNN model and the best degree of ensemble vary with data sets. It is also shown in statistical results that the designed EGB-RNN models perform better than six baselines.