| 한글제목(Korean Title) |
동적인 URL 재수집 정책을 이용한 분산 웹크롤링 시스템에서의 URL 중복 수집 문제 개선 |
| 영문제목(English Title) |
A study of improving URL duplication problem for distributed web crawling system |
| 저자(Author) |
조성찬
서영덕
백두권
Seong-Chan Jo
Young-Duk Seo
Doo-Kwon Baik
|
| 원문수록처(Citation) |
VOL 42 NO. 01 PP. 0251 ~ 0253 (2015. 06) |
한글내용
(Korean Abstract) |
웹 검색엔진은 최신의 정보를 유지하는 것이 중요하기 때문에 웹 크롤러의 중요성이 더욱 커지고 있다. 하지만 기존의 웹 크롤러들은 페이지 재수집 주기를 정적으로 유지하기 때문에 불필요한 자원이 낭비되고, 중앙집중식 분산처리 방식을 이용하기 때문에 URL의 중복처리에 병목현상이 발생한다. 이에 본 논문에서는 분산시스템에서 동적인 URL재수집 정책을 이용한 효과적인 URL중복 수집 개선 방안을 제시한다. 제안한 방법은 URL수집을 각 도메인 단위로 개별 분산 노드에서 수집하고, 수집된 페이지의 갱신 여부에 따라 재수집 정책을 적용하여 불필요한 트래픽은 줄이고 최신의 데이터를 유지할 수 있다. 또한 웹 페이지의 텍스트 영역의 태그 정보를 이용하여 효율적인 본문 추출 방법을 제안하고, 이를 통해 실제 웹 페이지 변경 여부를 효율적으로 판단하여 갱신하는 방법을 제공한다. 끝으로 기존의 동적 수집방식이 적용된 크롤러와 비교 성능 평가를 하여 제안하는 방식의 우수성을 입증한다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
