검색 상세

웹 크롤링을 이용한 불법 사이트 정보 수집 방법에 관한 연구

  • 추승용 (대학원 정보보안학과 저작권디지털포렌식)

초록/요약

최근 정부의 불법 사이트 차단 노력에도 불구하고 이를 우회하는 방법이 계속 생겨나고 있어 불법 사이트는 여전히 줄어들지 않고 있다. 지속적이고 적극적인 불법 사이트의 차단을 위해서는 불법 사이트의 정보를 다양하게 수집하고 관리하는 시스템이 필요하다. 본 논문에서는 불법 사이트의 링크를 모아놓은 웹사이트를 이용하여 효과적으로 불법 사이트 정보를 수집하는 웹 크롤러를 제안한다. 특히 불법 사이트 홍보 수단인 SNS(Social Networking Service)를 추적하여 불법 사이트 차단 시 변경될 URL 정보를 수집하고, Cloudflare와 같은 CDN(Content Delivery Network) 서비스 사용 여부를 확인하여 불법 사이트의 운영 형태를 파악할 수 있다. 제안한 웹 크롤러를 이용해 수집한 결과, 약 97%의 불법 사이트 판별률(628개 중 610개)을 보였다. 따라서, 제안한 웹 크롤러가 앞으로의 불법 사이트 차단을 위한 정책 수립에 도움을 줄 수 있을 것으로 기대한다.

more

목차

목 차

국문 요약 1

제 1장 서론 2

제 2장 불법 사이트 홍보 현황 및 관련 연구 4
2.1 불법 사이트 홍보 현황 4
2.2 관련 연구 7

제 3장 불법 사이트 정보 수집 시스템 9
3.1 링크 모음 사이트를 이용한 웹 크롤러 9
3.2 SNS 추적을 통한 변경 URL 예측 14

제 4장 불법 사이트 수집 결과 및 판별률 16
4.1 웹 크롤러 데이터베이스 저장 구조 16
4.2 불법 사이트 수집 결과 및 판별률 21

제 5장 결론 22

참고문헌 23

more
반출 Meta View 목록