Velocity Obstacles와 심층강화학습을 이용한 VLCC급 유조선의 충돌회피 방법

Abstract

본 연구에서는 VLCC급 유조선들 간에 충돌회피 시, 기본적인 운항 안전성을 보장하면서 운항효율이 높은 회피 경로를 찾기 위해 VO(Velocity Obstacles)와 심층강화학습을 이용하였다. 선박들 간의 조우상황에서 회피 행동 선택 시 선박안전영역에 근거한 안전거리를 유지함으로써 운항 안전성을 우선적으로 보장하며 목표 운항 경로와 속도를 유지하지 못하여 발생하는 추가 운항 거리를 줄임으로써 운항효율을 높인다. 또한 선박의 회피 행동은 국제해상충돌예방규칙에 근거하여 선택된다.

심층강화학습은 현재 또는 미래에 받을 보상을 최대화하는 최적 행동 정책을 찾는 학습 방법이다. 심층강화학습을 선박의 충돌회피에 활용하여 운항 안전성을 보장하고 운항효율을 높이는 최적 회피 행동 정책을 찾게 된다. 우선 두 선박의 조우상황을 마르코프 결정 과정을 통해 수학적으로 정의하였다. 상태 집합은 자선과 타선의 상태를 잘 나타내는 매개변수를 선정하여 정의하였으며 행동 집합은 목표 운항 경로에 수직한 회피 운항 경로를 생성하고 자선에서 회피 운항 경로까지 수직 거리로 정의하였다. 정의된 마르코프 결정 과정과 DQN(Deep Q-network)을 이용하여 교차 조우상황에 대한 최적 행동 정책을 학습하였으며 이때 목표 운항 경로 이탈 거리와 감쇄 속력에 대한 영향력의 비율을 조절함으로써 해당 비율이 회피 경로에 미치는 영향을 확인하였다. 또한 학습과 적절한 하이퍼파라미터를 찾는데 걸리는 시간이 상당한 것을 확인하였다.

VO는 속도를 갖는 물체들 간의 충돌회피를 위한 방법으로 주로 로봇이나 무인수상선에 활용되어져 왔다. 하지만 VLCC급 유조선의 경우 로봇이나 무인수상선과는 달리 조타명령에 의한 응답이 상당히 늦다. 이와 같은 특성을 반영하여 VO를 VLCC급 유조선에 적용하기 위한 방안을 마련한다. VO의 목표 회피 속도를 선정하기 위해서 휴리스틱 접근법이 사용되었으며 선박안전영역을 침범하지 않고 추가 운항 거리를 최소화하는 휴리스틱 조건에 의해 충돌 회피가 가능하였다. 하지만 회피 시작 시점을 지정해야 한다는 단점이 존재하였다.

마지막으로 학습에 사용되는 시간을 줄이고 최적 회피 시작 시점을 유연하게 결정하기 위해 VO와 심층강화학습을 함께 이용하여 VLCC급 유조선의 충돌회피 방법을 제시하였다. VO를 기반으로 국제해상충돌예방규칙에 근거한 행동 종류를 경로추종, 우현 회피, 좌현 회피, 목표지점 추종의 네 가지로 선정하였다. 심층강화학습은 현재 조우상황에서 최적 회피 행동을 판단하고 선택하도록 학습되며, VO를 통해 다수 선박의 조우상황에서도 회피 행동을 할 수 있도록 한다. 학습된 최적 행동 정책은 2척, 3척, 4척의 조우상황과 크기와 형상이 다른 선박으로 대체한 테스트를 수행하였다.