드론 사진측량 기반 건물 외피의 고밀도 3차원 열영상 포인트 클라우드 생성기법

Abstract

The Ministry of Land, Infrastructure, and Transport (MOLIT) has established a ‘smart construction technology roadmap’. And it is aim to establish a foundation for using smart construction technology by 2025 and complete construction automation by 2030. In particular, technological innovation from 2D design drawings to 3D information models is important in the field of design, construction, and maintenance, and it leads to increase in the use of drones. Accordingly, research using drone technology is actively underway in the construction field, such as a system for modeling and managing a 3D building using drones, information acquisition and data analysis of collapsed areas in the event of a disaster, DEM construction and spatial analysis of planned construction sites. At the same time, interest in thermal imaging drones, which have been mainly used for military or reconnaissance purposes, is increasing as drones with thermal cameras are used to observe and monitor COVID-19. Thermal imaging is a visual representation of the intensity of infrared rays according to the degree of thermal energy by recognizing it as a number of points. Thermal imaging information is currently being used in various fields such as firefighting, power line management, wildfire monitoring, and livestock disease, and with the use of thermal imaging cameras to prevent and manage the aforementioned COVID-19, we are looking forward to further advances in this technology. Research on the use of thermal imaging cameras that provide various data that cannot be seen through visible images, such as non-destructive testing, temperature-dependent effect evaluation, leak detection in piping facilities, and early diagnosis of structures, is being actively conducted in the construction field. However, domestic research is focused on research using only thermal imaging cameras, so accessibility is low, such as monitoring high buildings or observing large areas, and there is a limit to the effectiveness of thermal imaging cameras when there is difficulty in data acquisition. Using thermal imaging drones are diversifying, including roof and building inspection, solar panel inspection, electrical inspection, oil and gas inspection, agriculture, road and bridge inspection, public safety and security, and more. Recently, the United States used thermal imaging drones for firefighters to evaluate structural damage before a fire and to provide safety rescue, while Vietnam used thermal imaging drones to find survivors from floods and landslides. In addition, recently, thermal imaging drones have started to be used for building insulation and diagnosis, which can identify leaks and insulation defects before deterioration. However, most of the research has used only fragmentary image information or temperature information of thermal imaging cameras, and the technology for data generation using simple image information and 3D modeling is insufficient. In particular, it is difficult to visually check the site because the construction or civil engineering site structure consists of a large structure, but the problem point for defects or inspection is not large in many cases. In addition, thermal imaging cameras are mainly used for maintenance and management performed after construction management of structures, but there is a limit to obtaining detailed data due to the low resolution of thermal imaging drone modeling compared to visible image drone modeling. Therefore, in this study, a proposed technique for generating a high-density thermal image 3D point cloud from multiple overlapping images obtained from a visible and thermal imaging camera mounted on a drone was presented. Here, a high-density point cloud is generated through processing of a visible image, and a technique for precisely matching temperature information obtained from a thermal image to this is proposed. In addition, in order to represent the DN value (pixel value) of the thermal image as the actual surface temperature of the facility, the thermal image DN value and the temperature of the non-contact and contact thermometers were compared and analyzed. First, the drone-attached camera used in the experiment has a visual image camera and a thermal image camera integrated, so the experiment was conducted assuming that the initial external expression elements of the captured visible image and thermal image were the same. The experiment first proceeds to generate a 3D point cloud from a high-resolution visible image. By adjusting the bundle of the visible image, internal and external expression elements are extracted, and the accuracy of the generated three-dimensional point cloud of the visible image is evaluated. The second is to calibrate the temperature information of the thermal imaging camera attached to the thermal imaging drone. In this process, the DN value is measured using a thermal imaging camera attached to the drone, compared with a non-contact thermal imaging thermometer, and adjusted. In addition, in order to evaluate the accuracy of the non-contact thermometer, the accuracy analysis and evaluation through the contact thermometer are also conducted. Finally, a method for generating and utilizing a thermal image 3D point cloud is presented. After the previous visible image processing, the bundle adjustment of the thermal image is performed using the external expression element and the 3D point cloud result, and finally, a high-density 3D point cloud of the thermal image is generated in consideration of the collinear condition and the ground occlusion area. As a result of the experiment, the RMS error of the visible image was 0.01m (1cm), creating a high-density point cloud within the allowable range. However, there was a limit to obtaining satisfactory results due to the effect of emissivity in the temperature comparison experiment conducted in the process of substituting the actual surface temperature to the DN value of the thermal image. Therefore, the thermal image 3D high-density point cloud generation was performed with DN values, and the results regarding whether the occlusion area was considered or not were analyzed. In the case of the occluded area, in order to project one DN value to the visible image point cloud, the minimum, maximum, and average values ​​of the DN values ​​were compared and analyzed. As a result, if the occlusion area is considered using any of the DN values, it is possible to generate a 3D high-density point cloud of a thermal image of higher quality than that in which the occlusion area is not considered.

국토교통부에서는 ‘스마트 건설기술 로드맵’을 수립하고 2025년까지 스마트 건설기술 활용기반을 구축하며, 2030년에 건설자동화를 완성함을 목표로 하고 있다. 특히 설계, 시공 및 유지관리 분야에서 2차원 설계도면에서 3차원 정보모델로의 기술혁신이 중요하며, 드론의 사용 증대가 예상된다. 이에 따라 드론을 활용한 3차원 건물을 모델링하고 관리하는 시스템, 재난 발생 시 붕괴지역 정보취득과 데이터 분석, 공사예정지의 DEM 구축 및 공간 분석 등 건설 분야에 드론 기술을 이용한 연구가 활발히 진행 중이다. 한편, 최근 발생한 COVID-19를 관찰 및 감시하는 데 있어 열화상 카메라를 부착한 드론을 사용하면서 기존에 주로 군사용이나 정찰용으로 쓰이던 열화상 드론에 대한 관심도가 높아지고 있다. 열화상은 열에너지의 정도에 따른 적외선의 강도를 다수의 점으로 인식하여 시각적으로 표현한 것으로 열화상 카메라는 물체에서 나온 열에너지 즉, 적외선을 감지해 영상화하는 장치이다. 열화상 정보는 현재 소방, 송전선 관리, 산불 감시, 가축 질병 여부 등 여러 분야에 쓰이고 있으며, 앞서 언급한 COVID-19를 예방 및 관리하는 데 있어 열화상 카메라를 사용하면서 해당 기술에 대한 발전을 더욱 기대하고 있다. 건설 분야에서도 비파괴시험, 온도에 따른 영향평가, 배관시설 누수감지, 구조물 조기진단 등의 가시적 이미지로 볼 수 없는 다양한 데이터를 제공하는 열화상 카메라 활용에 관한 연구가 활발히 진행 중이다. 하지만 국내 연구는 열화상 카메라만을 사용한 연구에 집중된 경우가 많아 높은 건물 모니터링이나 넓은 지역 관측 등과 같이 접근성이 떨어지고, 데이터획득에 어려움이 있는 경우에서는 열화상 카메라 효율성에 한계를 보인다. 열화상 드론을 사용한 분야는 지붕 및 건물 검사, 태양광 패널 검사, 전기 검사, 석유 및 가스 검사, 농업, 도로 및 교량 검사, 공공안전 및 보안 등 다양해지고 있다. 최근, 미국은 소방관이 화재현장 전 구조적 손상을 평가하고 안전 구조를 하기 위하여 열화상 드론을 사용하였고, 베트남은 홍수와 산사태에서 생존자를 찾는 데 열화상 드론을 이용하였다. 이뿐만 아니라 최근에는 열화상 드론을 열화현상 전 누수 및 단열 결함 등을 미리 식별할 수 있는 건물 단열 및 진단에도 사용하기 시작하였다. 하지만 대다수의 연구가 단편적인 영상 정보나 열화상 카메라의 온도 정보만을 활용하였고, 단순 영상 정보를 이용한 데이터 생성이나 그에 따른 3차원 모델링 등의 기술은 미흡한 상황이다. 특히, 건설이나 토목 현장 구조물은 큰 구조체로 이루어져 있는 반면에 결함이나 점검을 하기 위한 문제 지점은 크지 않은 경우가 많아 현장을 가시적으로 확인하는 것에 어려움이 있다. 또, 구조물 등의 건설 관리 이후에 행해지는 유지 및 관리에는 열화상 카메라가 주로 사용되는데, 열화상 부착 드론을 모델링하는 것이 가시 영상 드론 모델링에 반해 해상도가 낮아 상세한 데이터를 얻기 힘들다. 따라서 본 연구에서는 드론에 장착된 가시 영상 및 열 영상 카메라로부터 획득된 다수의 중복 영상으로부터 고밀도의 열화상 3차원 포인트 클라우드를 생성하는 제안 기법을 제시한다. 여기서, 고밀도 포인트 클라우드는 가시 영상의 처리를 통해 생성하고, 이에 열 영상에서 획득된 온도 정보를 정밀하게 대응시키는 기법을 사용하였다. 또한, 열 영상의 DN값(화소값)을 실제 시설물의 표면 온도로 나타내기 위하여 열 영상 DN값과 비접촉 및 접촉 온도계의 온도를 비교하고 분석하였다. 먼저 실험에 사용한 드론 부착 카메라는 가시 영상 카메라와 열 영상 카메라가 일체화되어 있어, 촬영한 가시 영상과 열 영상의 초기 외부표정요소가 동일하다고 가정하고 실험을 진행하였다. 실험은 첫 번째로, 고해상도의 가시 영상으로부터 3차원 포인트 클라우드 생성을 진행한다. 가시 영상을 번들 조정하여 내부 및 외부표정요소를 추출하고, 생성된 가시 영상 3차원 포인트 클라우드의 정확도를 평가한다. 두 번째는, 열 영상 드론에 부착된 열화상 카메라 온도 정보를 캘리브레이션한다. 이 과정에서 드론에 부착된 열화상 카메라를 이용한 DN값을 측정하고 이 값을 비접촉 열화상 온도계와 비교하고 조정한다. 또, 비접촉 온도계의 정확도 평가를 위해 접촉 온도계를 통한 정확성 분석 및 평가도 진행한다. 마지막으로, 열 영상 3차원 포인트 클라우드를 생성하고 활용하는 방안을 제시한다. 앞서 진행된 가시 영상 처리 후 외부표정요소 및 3차원 포인트 클라우드 결과를 이용하여 열 영상의 번들 조정을 진행하고, 최종적으로 공선조건식 및 지상의 폐색 영역을 고려한 열 영상 고밀도 3차원 포인트 클라우드를 생성한다. 실험 결과 가시 영상의 RMS error(최소제곱근 오차)는 0.01m(1cm)로 허용 범위의 고밀도 포인트 클라우드가 생성되었다. 그러나 열 영상 이미지의 DN값에 실제 표면 온도를 대입하는 과정에서 진행된 온도 비교 실험에서 방사율의 영향으로 인해 충분히 만족할만한 결과를 얻지 못하였다. 그러므로 열 영상 3차원 고밀도 포인트 클라우드 생성은 DN값으로 진행되었으며 매칭과정에서 생기는 폐색 영역의 고려 여부에 관한 결과를 분석하였다. 폐색 영역의 경우 가시 영상 포인트 클라우드에 하나의 DN값을 투영하기 위하여 DN값의 최솟값, 최댓값, 평균값으로 비교 분석하였다. 그 결과, DN값 중 어떤 값을 사용하여도 폐색 영역을 고려한다면 폐색 영역을 고려하지 않은 것보다 높은 품질의 열 영상 3차원 고밀도 포인트 클라우드를 생성할 수 있었다.