Prediction of Baltic Dry Index by Applications of Long Short-Term Memory Recurrent Neural Network Architectures

Abstract

As like the global economy, the maritime economy repeats its fluctuations. Since the global financial crisis in 2008, the ongoing recession and decline in freight volume and oversupply of vessels have led to a long-term recession in maritime economy. In the latter half of 2018, it is recovering and rebounding, but it is not clear whether this is a sign of recovery in the maritime economy. In the situation where uncertainty is growing due to the long-term shipping recession, not only the understanding of the economic trend but also the importance of forecasting is also rising.

Baltic Dry Index (BDI), which is an indicator of the dry cargo freight rate, is attracting attention. It is an index representing the dry bulk shipping market, where raw-materials used for various industrial developments are regarded as major freight. The index is announced on a daily basis based on the freight rates of the time-charter contracts occurring on the major routes of the dry bulk shipping market. The shipping industry makes the world as the target market. In particular, due to the nature of freight to be transported in the dry bulk shipping market, BDI not only reflects the global economy sensitively but also reflects the characteristics of global demand for dry bulk. As a result, BDI is highly seasonal and cyclical, and the volatility of the time-series is known to be very high.

This thesis focuses on BDI prediction by applying Artificial Neural Network (ANN), which is popular as a methodology for specific complex problems. As a result of the literature reviews, most of the papers have been used to improve the prediction performance of BDI by utilizing various statistical techniques with combinations of ANN models, especially, MLP (Multi-Layer Perceptron) was used. These studies suggest a methodology that shows excellent predictive performance by combining or manipulating existing time-series prediction techniques with ANN. However, the basic premise of time-series prediction that the past values or trends of the relevant time-series will be reflected in the future, was not taken into consideration. In this thesis, unlikely to other studies of related fields, another method named Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) were applied to BDI time-series prediction. Especially, LSTM is the special application of RNN that made to overcome the ‘vanishing or exploding gradient problem’ of RNN. In addition, a short-term prediction was performed through a traditional time-series prediction methodology named Auto-Regressive Integrated Moving Average (ARIMA) model. Non-seasonal uni-variate ARIMA model was conducted in the research. As a result, despite the short-term prediction, the accuracy of the model prediction is very poor. Due to the nature of BDI time-series, there is a high possibility of improving prediction performance by applying more detailed methodologies such as seasonal and/or multi-variate ARIMA models. Nevertheless, the ARIMA model applied in this paper is limited to simply only for predictive performance comparisons between statistical-based methodologies and ANN-based methodologies.

The period of study was from April 1, 2009, to July 31, 2017. To predict BDI time-series through ANN. Eight independent time-series that related to shipping and freight rates were set as input variables. ANN predictions will be split into two phases. First, in order to grasp the applicability of ANN to the given time-series datasets, divided the time-series data into training and test datasets, followed by learning through only the training datasets, and then confirmed the fitness for the test set. Second, a sliding-window method was applied. The time-series datasets are intentionally put back 1-day. Therefore, ANN models are trained on the premise of the output variable of at is occurred based on the input variables of at . After that, a daily prediction is conducted for a 1-year (from August 1, 2016, to July 31, 2017). In this phase, to demonstrate the superiority of the performance of the networks over different or future time windows in the given time-series, using the same network structure as the first phase. As a result, LSTM showed the most well performed predictive performance while the second and the last were RNN and MLP, respectively.

Contributions of the thesis are that it showed the superiority of ANN for short-term prediction of BDI time-series and it is the first study of applying LSTM to the specific time-series (BDI). However, the studied ANN models cannot always guarantee the same or similar prediction performance when in the future time point or changes in the prediction object period. This phenomenon also might arise in other time-series datasets. Therefore, it is expected that the prediction performance of BDI of corresponding ANN models can be improved through more precise literature reviews and selection of input variables or application of various methodologies. Even the applicability of long-term forecasting can also be sought. Further research on the subject could serve as a supporting indicator for more scientific and rational decision-making for sound shipping business management with the current global economic environment where uncertainty is evident.|세계 경기와 마찬가지로 해운경기 역시 그 등락을 반복한다. 2008년 세계 금융위기 이후로 지속적인 경기 침체 및 물동량 감소, 그리고 선박 과잉공급 등의 요소들로 인해 장기 해운 불황이 지속되고 있는 실정이다. 2018년 후반기에는 일부 반등하여 회복되는 추세를 보이나 이가 확실한 해운경기 회복의 신호일지는 미지수이다. 이와 같은 장기 해운 불황에 따른 불확실성이 증폭되고 있는 상황에서는 경기추세에 대한 이해뿐만 아니라 예측 또한 그 중요성이 대두되고 있다.

해운경기를 반영하는 지표는 여러 가지가 있으나 그중에서도 건화물운임지수인 Baltic Dry Index(BDI)가 주목받고 있다. BDI는 각종 산업 발전에 사용되는 원자재들을 주요 운송화물로 삼는 건화물 운송시장을 대표하는 지수이다. 해당 지수는 건화물 운송시장의 주요 항로들에서 발생하는 정기용선계약의 운임률을 기초로 하여 일별 단위로 발표된다. 해운 산업은 전 세계를 시장의 대상으로 삼는다. 특히, 건화물 운송시장의 운송 대상이 되는 화물의 특성상 BDI는 세계 경기를 민감하게 반영할 뿐만 아니라 세계 건화물 수요의 특성 역시 반영한다. 이에 따라 BDI는 계절성 및 순환성을 강하게 띄어 해당 시계열의 변동성은 매우 높은 것으로 알려져 있다.

본 논문에서는 최근 특정 복잡한 문제에 대한 방법론으로 각광받고 있는 인공신경망을 적용하여 BDI 예측을 연구하였다. 본 논문의 선행연구 결과, 주로 인공신경망 중 다층 퍼셉트론(Multi-Layer Perceptron; MLP)을 활용하여 통계적 기법 등을 결합한 접근법으로 BDI에 대한 예측 성능을 향상시키고자 한 논문들이 대부분이었다. 해당 연구들은 기존의 시계열 예측 기법들과 인공신경망을 결합한 접근법으로 뛰어난 예측 성능을 보여주는 방법론을 제시하였지만, 이는 해당 시계열의 과거의 값들 또는 추세들이 미래에도 반영되어 특정한 형태로 나타나게 될 것이라는 시계열 예측의 대전제를 적극 수용하지 못한 접근법들이라 할 수 있다. 본 논문에서는 이를 적극 수용코자 기존 선행연구들과는 차별되는 접근법으로 순환 (구조) 신경망(Recurrent Neural Network; RNN)과 기존 순환 신경망의 한계점인 기울기 소실 또는 발산 문제(vanishing or exploding gradient problem)를 극복한 장단기 메모리 순환 신경망(Long Short-Term Memory; LSTM)을 BDI 시계열 예측에 적용하였다. 추가적으로 전통적 시계열 예측방법론인 아리마 (Auto-Regressive Integrated Moving Average; ARIMA) 모델 중, 비계절성(non-seasonal) 단변량(uni-variate; BDI) 아리마를 통해 단기 예측을 수행하였다. 그 결과로 단기 예측에도 불구하고 아리마 시계열 예측의 정확도는 매우 떨어지는 것으로 나타났다. BDI 시계열의 특성상 계절성 아리마, 다변량 아리마 모형과 같은 보다 세밀한 방법론들의 적용을 통한 예측 성능 향상의 가능성이 매우 높다. 그럼에도 불구하고 본 논문에서 적용된 아리마 모형은 통계학 기반의 방법론과 인공 신경망 기반의 방법론들 간의 단순한 예측 성능 비교의 대상으로써 한정 지었다.

연구의 대상이 된 기간은 2009.04.01.부터 2017.07.31.까지이다. 인공 신경망들을 통한 BDI 시계열을 예측을 위해 해운경기 및 운임과 관련된 8개의 시계열 자료들을 투입 변수로 설정하였다. 인공 신경망을 활용한 예측은 두 단계로 나누어 진행하였다. 첫 번째로 해당 시계열에 대한 인공 신경망들의 적용 가능성을 파악하기 위해 학습과 테스트 데이터 셋으로 해당 데이터를 나누어 학습 데이터만을 통해 학습을 진행 후 테스트 셋에 대한 적합도를 확인하였다. 두 번째로 이동 시계열 분석 기법(sliding-window method)을 적용하여 시점의 출력 변수 의 값이 시점의 의 값들에 의해 발생한 것으로 가정하고 해당 인공 신경망들을 학습시켜 1 년의 기간(2016.08.01. ~ 2017.07.31.)을 대상으로 일일 예측을 진행하였다. 해당 단계에서는 첫 번째 단계와 동일한 네트워크 구조를 사용하여 시계열의 다른 시간범위 또는 미래시점에서 해당 네트워크들의 성능의 우수성을 증명하였다. 그 결과로 장단기 메모리 순환 신경망, 순환 신경망, 다층 퍼셉트론의 수순으로 BDI 시계열에 대한 뛰어난 예측 성능을 보여주었다.

본 연구에서는 적용된 인공 신경망들의 BDI 시계열 단기 예측에 대한 우수성을 증명함과 동시에 장단기 메모리 순환 신경망을 특정 시계열(BDI)에 적용한 최초의 연구에 그 의의가 있다. 하지만 해당 인공 신경망들은 동일한 설정 값으로 미래의 시점 또는 예측 대상이 되는 기간 등이 달라질 경우 그 예측 성능을 항상 보장할 수 없다. 이는 다른 시계열 자료에 대해서도 마찬가지일 것이다. 따라서 보다 정밀한 선행연구 및 투입 변수들의 선정 또는 다양한 방법론들의 적용 및 응용을 통해 해당 인공 신경망 모델들의 BDI에 대한 예측 성능 향상 및 장기 예측에 대한 적용 가능성을 기대할 수 있다. 해당 주제에 대한 추가적인 연구는 불확실성이 뚜렷한 현 세계경제 상황에서 건전한 해운기업 경영을 위해 보다 과학적이고 합리적인 의사결정을 위한 보조지표로써의 역할을 할 수 있다.