센서 융합 기술을 활용한 부산항 해역 디지털 트윈 시스템 개발

Abstract

Digital twin refers to the reproduction and implementation of a physical model of the real world in a digital environment. Using digital twins, we can predict what happens in reality in advance in the virtual world, and gain advantages such as improving product quality and reducing development costs. In practice, research and development are being actively conducted in the field of smart city and manufacturing. If digital twin system is built and utilized to verify the algorithm of an autonomous ship, benefits can be obtained in terms of time and cost. However, there are currently few examples of implementing a port environment with a digital twin. In the field of autonomous ship, verification of unmanned ships is important, but enormous costs are incurred when manufacturing autonomous ships. Besides, there are many difficulties in demonstration due to problems such as accessibility to the experimental environment and the risk of accidents. Therefore, this study proposes a digital twin system that can verify the autonomous ship algorithm in Busan port using sensor fusion. It implements the Busan port sea area on the simulator and real ships existing in the sea. To implement the digital twin, ROS Gazebo ship simulator is used. In order to acquire the location of target ships, sensor data is collected from the sea area data collection device installed on the ground. The data collection device consists of AIS, radar, and camera. The radar obtains the location information of other ships through image processing from PPI (Plan Position Indicator) image information, and the camera obtains the pixel coordinates of a specific ship through deep learning to calculate the location information. An Extended Kalman filter is used to predict and correct the position of other ships. In addition, a data association technique is applied to associate some of the sensor data with a specific ship. Finally, the digital twin is implemented using the result of convergence of multiple sensor data such as AIS, Radar, and Camera.|디지털 트윈은 현실 세계의 물리적 모델을 디지털 환경에 복제하여 구현하는 것을 뜻한다. 디지털 트윈을 이용하면 현실에서 이루어지는 일들을 가상의 세계에서 미리 진행하여, 미래를 예측할 수 있고 제품 품질 향상, 개발비용 절감 등의 이점을 얻을 수 있다. 실제로 스마트시티나 제조분야에서는 연구 및 개발이 활발하게 이루어지고 있다. 이처럼 자율운항 선박의 알고리즘을 검증하기 위해 실제 항만에 존재하는 선박들을 재현하는 디지털 트윈을 구축하고 이를 활용한다면 시간적·비용적 측면에서 이득을 얻을 수 있다. 하지만 현재 디지털 트윈으로 항만 환경을 구현하는 사례는 미비한 상황이다. 자율운항 분야에서는 무인선의 검증이 중요한데, 실제 크기의 자율운항 선박 제작 시 막대한 비용이 발생하며 실험환경으로의 접근성과 사고 발생 위험성 등의 문제로 실증에 다수의 어려움이 존재한다. 따라서 본 연구는 센서 융합 기술을 활용한 부산항 해역 디지털 트윈으로 자율운항 알고리즘을 검증할 수 있는 시스템을 제안한다. 시뮬레이터 상에 실제 부산항과 유사한 해역 환경을 구성하고, 해상에 존재하는 실제 선박을 배치한다. 디지털 트윈을 구현하기 위해 ROS Gazebo 선박 시뮬레이터가 활용된다. 타선의 위치정보를 획득하기 위해 지상에 설치된 해역 데이터 수집장치로부터 센서 데이터를 수집한다. 데이터 수집장치는 AIS, 레이더, 카메라로 구성되어 있다. 레이더는 PPI(Plan Position Indicator) 영상정보에서 이미지 처리를 통해 타선의 위치 정보를 획득하고, 카메라는 딥러닝을 통해 특정 선박의 픽셀 좌표를 획득하여 위치 정보를 계산한다. 타선의 위치를 예측하고 보정하기 위해 확장 칼만 필터를 사용한다. 또한 여러 센서 데이터 중 일부를 특정 선박과 연관시키기 위한 Data association 기법을 적용한다. 마지막으로, AIS, Radar, Camera 등, 다수의 센서 데이터를 융합한 결과를 이용하여 디지털 트윈을 구현한다.