하둡에 기반한 빅데이터 관리 시스템 구축 및 사례 연구

Abstract

데이터 생성량의 증가로 인해 다양한 분야에서 빅데이터의 활용에 대한 필요성이 커지고 있다. 그중 IOT 기반 데이터는 센서로부터 실시간으로 대량의 데이터를 수집하기 때문에 데이터 생성량이 큰 비율을 차지하고 있으며, 이를 활용할 수 있는 빅데이터 시스템의 필요성이 커지고 있다. 본 논문에서는 대용량 로그 데이터를 처리, 빅데이터 분석할 수 있는 빅데이터 시스템을 설계 및 구축하였다. 임의로 생성된 스마트카 상태 데이터를 주축으로 빅데이터의 수집, 적재, 탐색, 분석 과정에서 사용되는 프로그램들의 역할과 기능을 설명하고, 하둡을 중심으로 데이터 처리 과정을 분석하여 최종적으로는 추천 및 군집 분석 등 머신러닝 기술을 적용하였다.