KCC 2021
Current Result Document :
| 한글제목(Korean Title) |
LUKE를 이용한 한국어 자연어 처리: 개체명 인식, 개체 연결 |
| 영문제목(English Title) |
LUKE for Natural Language Processing of Korean: Named Entity Recognition and Entity Linking |
| 저자(Author) |
민진우이
나숭훈
김현호
김선훈
강인호
Jin woo Mino
Seung-Hoon Na
Hyun-Ho Kim
Seon-Hoon Kim
Inho Kang
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 0397 ~ 0399 (2021. 06) |
한글내용
(Korean Abstract) |
BERT와 같은 트랜스포머 기반의 언어 모델은 대용량의 레이블이 없는 말뭉치를 자가 학습 방법을 통해 학습한 후 다양한 자연어 처리 응용 태스크에 적용하여 놀라운 성능 향상을 보였다. 이와 같은 언어 모델은 실세계 지식 정보를 표현할 수 없는 단점이 존재하고 이러한문제를 해결하기 위해 언어 모델에 지식 베이스를 반영하려는 다양한 연구들이 수행되었다. 본 연구에 서는 단어 시퀀스 이외에 엔티티 시퀀스와 임베딩을 정의하고 단어와 엔티티의 모든 시퀀스 쌍에 따라 별도의 쿼리 파라미터를 두고 셀프 어텐션을 수행하는 LUKE 모델을 한국어 위키피디아 상에서 학습한 후 엔티티 관련 태스크인 개체명 인식, 개체 연결에 적용하여 기존의 RoBERTa 기반 모델 대비 각각 0.5%p, 1.05%p의 성능 향상을 가져왔다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
