정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
지식 추출을 위한 효율적인 다중 작업 크라우드소싱 기법 |
| 영문제목(English Title) |
Cost-effective Multi-task Crowdsourcing Method for Knowledge Extraction |
| 저자(Author) |
남상하
이민호
허철훈
최기선
Sangha Nam
Minho Lee
Cheolhoon Heo
Key-Sun Choi
|
| 원문수록처(Citation) |
VOL 26 NO. 11 PP. 0507 ~ 0512 (2020. 11) |
한글내용
(Korean Abstract) |
지식 추출이란 자연언어 문장으로부터 컴퓨터가 이해할 수 있는 지식 형태의 정보를 추출하는 작업으로, 지식베이스를 생성 및 확장하고 이를 이용해 질의 응답, 대화 에이전트 등 다양한 응용 분야에 활용된다. 지식 추출을 위해서는 주어진 자연언어 문장 내에 지식베이스에 연결 가능한 개체를 발견하고 그 개체들 간의 의미적 관계를 파악하는 과정이 필수적으로 수반된다. 본 논문에서는 크라우드소싱으로 개체 연결과 관계 추출을 위한 데이터 셋을 효과적으로 제작하는 방법을 제안한다. 지식 추출에는 다중 작업 설계가 필요한데 효율적인 데이터 주석 작업 틀을 설계하고, 또한 양질의 데이터를 수집하기 위해 작업자들을 교육, 데이터 품질을 지속적으로 자동 검수, 그리고 악성 작업자를 걸러내는 장치들을 도입하였다. 본 논문에서 수집한 데이터와 방법의 우수성을 입증하기 위해, 지식 추출에 필요한 여러 가지 모델들을 학습하고 평가한 결과, 본 논문의 크라우드소싱 데이터가 성능 향상에 기여했다는 것을 확인하였다. |
영문내용
(English Abstract) |
Knowledge extraction is the task of extracting knowledge from natural language sentences in the form of information that a computer can understand to create and expand the knowledge base. Knowledge bases and extraction systems are used in various applications such as question answering and dialog agents. For knowledge extraction, it is essential to both find a knowledge base entity in a given natural language sentence and understand the semantic relationship between the entities. In this paper, we proposed a cost-effective multi-task data collection process to create a dataset for entity linking, entity grouping, and relation extraction using crowdsourcing. Because knowledge extraction requires multiple tasks, we designed an annotation scheme to reduce the burden of annotation by humans in each step where the output of the previous task was used as the input for the next task. We trained, tested, and continuously monitored the workers to filter out malicious workers. To demonstrate the excellence of our data and methods, the results of learning and evaluating the models for knowledge extraction confirmed that our crowdsourcing scheme contributed to performance improvement. |
| 키워드(Keyword) |
시맨틱웹
지식베이스
자연언어처리
지식추출
크라우드소싱
semantic web
knowledge base
natural language processing
knowledge extraction crowdsourcing
|
| 파일첨부 |
PDF 다운로드
|
