SpanBERT를  이용한한국어  자연어처리:  기계  독해, 개체 연결, 의존 파싱

홈 > 연구문헌 > 학술대회 프로시딩 > 한국정보과학회 학술대회 > KCC 2021

한글제목(Korean Title)	SpanBERT를 이용한한국어 자연어처리: 기계 독해, 개체 연결, 의존 파싱
영문제목(English Title)	SpanBERT for Korean Natural Language Processing: Machine Reading Comprehension, Entity Linking, Dependency Parsing
저자(Author)	박은환 나승훈 김태형 최윤수 장두성 Eunhwan Park Seung-Hoon Na Tae-Hyeong Kim Yun-Su Choi Du-Seong Chang
원문수록처(Citation)	VOL 48 NO. 01 PP. 0460 ~ 0462 (2021. 06)
한글내용 (Korean Abstract)	최근 자연어 처리 연구에서 대용량 말뭉치와 양방향 트랜스포머 기반 맥락을 고려한 BERT 와 같은 언어 모델을 사전 학습하고, 응용 태스크에 미세 조정하여 높은 성능을 달성하였다. 본 연구에서는 개별 토큰이 아닌 연속적인 범위(Span)의 토큰을 마스킹(Masking)한다. 그리고 개별 토큰 표현에 의존하지 않고 범위 경계(Span Boundary) 표상을 학습하여 마스킹된 범위의 전체 내용을 예측함으로서 기존의 한국어 RoBERTa[1] 모델을 확장한다. 이를 바탕으로 기계 독해, 개체 연결, 의존 파싱과 같은 응용 태스크 일부에서 기존 언어 모델보다 향상된 성능을 거두었다.
영문내용 (English Abstract)
키워드(Keyword)
파일첨부	PDF 다운로드