A Study on Frame Prediction Method based on Operation Probability Map

Abstract

동영상내에서 손상에 의해 소실된 프레임을 복원하거나 연속적인 새로운 프레임을 생성하는 기법인 프레임 예측은 객체들의 동작 예측이 필요한 자율주행, 보안 등의 미래 주요 기술로서 주목받고 있다. 최근 이 기술은 딥러닝 기술과 결합하여 예측 정확도가 많이 향상되고 있으나 많은 학습데이터와 연산량이 수반되기 때문에 실질적인 적용에는 어려움이 존재한다. 기존의 딥러닝 기반 예측 모델은 새로운 프레임 생성 과정에서 예측에 의해 생성된 프레임을 피드백하기 때문에 누적오차가 많이 발생하여 시간이 지남에 따라 예측 정확도가 감소한다. 따라서 본 논문에서는 convolution neural network (CNN)와 long short-term memory (LSTM)으로 구성된 네트워크를 통해 프레임들의 동작 특징들을 추출하고 패턴을 학습하여 동작 확률 지도를 생성하여 움직임이 발생한 영역에 대하여 deconvolution neural network(DNN)를 통해 이후 프레임을 생성하는 새로운 프레임 예측 모델을 제안한다. 제안한 모델은 CNN과 LSTM을 통해 프레임들의 동작 특징들을 추출하고 패턴을 학습하여 동작 확률 지도를 생성한다. 이를 통해 임의의 한 프레임에서 동작이 발생하는 영역를 판별하고 이 영역만 DNN을 통해 새로운 프레임을 획득한다. 이때 학습 난이도가 높은 DNN의 효율적인 학습을 위해 generative adversarial nets(GAN) 기법을 적용한다. 제안된 새로운 모델의 학습과 검증을 위하여 무작위로 일부 프레임이 제거된 로봇 움직임 영상을 기반으로 생성된 영상과 원본 영상을 PSNR로 비교 분석하였다. 그 결과, 제안한 프레임 예측 모델의 PSNR은 35.16으로 비교한 3개의 다른 모델에 비해 최대 14.06이 향상되었다. 또한 생성된 프레임에 따른 PSNR의 감소도 4번째 프레임 이전에는 2, 이후에는 7로 평균 5가 개선되었다.|Frame prediction, which is a technique to reconstruct frames lost due to damage or to generate new consecutive frames in the video, is attracting attention as a main technology which is indispensable for the autonomous vehicle and the artificial intelligence based security system that require motion prediction of objects. Recently, this technology has improved prediction accuracy in combination with deep learning technology, but it is difficulties in practical application because it involves a lot of learning data and computation amount. The existing deep learning based prediction model, since the frame generated by the prediction is feedback in the new frame generation process, is decreased the prediction accuracy over time. Therefore, in this paper, we propose an operation probability map based new frame prediction model using convolution neural network (CNN), long short-term, memory (LSTM) and deconvolution neural network(DNN) to minimize unnecessary computation regions in the frame and prediction error. The proposed model extracts the operating characteristics of the frames through CNN and LSTM and learns the patterns to generate the operation probability map. Through this process, a region in which an operation occurs is determined in one frame, and a new frame is obtained through DNN only in this region. At this time, the generative adversarial nets(GAN) technique is applied for efficient learning of DNN with the high learning complexity. For the learning and verification of the proposed new model, we compared and analyzed the generated frame and the original frame based on robotic motion images with some frames removed randomly using PSNR. As a result, the PSNR of the proposed frame prediction model is 35.16, which is 14.06 higher than the other three models. Also, the decrease of the PSNR according to the generated frame is decreased to 2 before the 4th frame and then to 7 thereafter, and is improved by 5 on the average.