빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현
Real time predictive analytic system design and implementation using Bigdata-log.
- 주제(키워드) Bigdata , Advanced bigdata analytics , Predictive analytics , Preemptive Countermeasure , Log Management , Regression Analysis
- 발행기관 고려대학교 정보경영공학전문대학원
- 지도교수 이동훈
- 발행년도 2016
- 학위수여년월 2016. 2
- 학위구분 석사
- 학과 정보경영공학전문대학원 정보경영공학과
- 세부전공 정보보호
- 원문페이지 66 p
- 실제URI http://www.dcollection.net/handler/korea/000000065191
- 본문언어 한국어
- 제출원본 000045866602
초록/요약
빅데이터는 미래 경쟁력을 좌우하는 21세기 원유로 비유되고 있으며, 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석(Predictive Analytics)을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그(빅데이터 로그)에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다. 또한 제안 시스템의 활용 사례를 소개하고, 그 중에서도 프로파일링 기법에 활용하는데 있어 회귀분석이 적합함을 측정 및 분석을 통해서 제시하고자 한다.
more목차
1. 서론 2
1.1. 연구 배경 및 목적 2
1.2. 논문 구성 5
2. 관련 연구 6
2.1. 빅데이터 플랫폼 6
2.2. 빅데이터 로그의 특성 및 분석 플랫폼 8
2.3. 실시간 및 비실시간 로그 분석 12
2.3.1. 실시간 로그 분석 12
2.3.2. 비실시간(시나리오) 분석 13
2.3.3. Interactive 분석 15
2.4. 예측 분석 16
2.4.1. 빅데이터 예측 분석 16
2.4.2. 로그 분석 시스템을 위한 통계 예측 엔진 17
3. 실시간 및 비실시간 빅데이터 로그 예측 분석 시스템 20
3.1. 고급 분석(Advanced Analytics) 20
3.2. 실시간 예측 분석 모델 23
3.3. 제안시스템 설계 및 구현 24
3.3.1. 제안 시스템 설계 구성 사항 24
3.3.2. 시스템 구현 및 예측 결과 31
4. 제안 시스템의 활용 및 성능 평가 36
4.1. 제안 시스템의 활용 36
4.1.1. IoT 디바이스 장애 예측 분석 36
4.1.2. 프로파일링 기법 38
4.1.3. 개인정보 유출 모니터링 시스템 39
4.1.4. 금융 사기 방지 시스템(FDS) 40
4.1.5. 기타 예측 42
4.2. 성능 평가 43
4.2.1. PoC 시스템에 대한 정성적 성능 평가 43
4.2.2. IoT 디바이스 장애 예측 분석 44
4.2.3. 개인정보 유출 모니터링 시스템 45
4.3. 성능 평가 분석 48
5. 결론 및 향후 과제 51
