KCC 2021
Current Result Document : 668 / 668
| 한글제목(Korean Title) |
유사도 기반 클러스터링을 활용한 효율적이고 효과적인 문서 중복 제거 기법 |
| 영문제목(English Title) |
An efficient and effective document deduplication by using similarity-based clustering |
| 저자(Author) |
손정빈
김선경
김민수
Jungbin Son
Sunkyoung Kim
Minsoo Kim
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 1577 ~ 1579 (2021. 06) |
한글내용
(Korean Abstract) |
기존의 문서 중복 제거 방식은 문서 쌍 단위로 비교하여 중복의 정도를 판별하여 제거하기에 많은 계산량을 필요로 한다. 이는 대용량 문서 텍스트에 적용하기에 어려운 한계점이 있다. 본 논문에서는 뉴스 기사를 문서 데이터로 보고, 문서 텍스트의 벡터 값에 대한 유사도를 기반으로 클러스터링하여 효율적이고 효과적인 중복 제거 기법을 제안한다. 제안하는 방법은 원하는 중복 정도에 따라 문서를 추출할 수 있으며, 대규모의 웹 텍스트 데이터에의 중복 제거 기법으로의 확장이 가능하다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
