| 한글제목(Korean Title) |
RoBERTa를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존파싱 |
| 영문제목(English Title) |
RoBERTa for Korean Natural Language Processing: Named Entity Recognition, Sentiment Analysis, Dependency Parsing |
| 저자(Author) |
민진우
나승훈
신종훈
김영길
Jinwoo Min
Seung-Hoon Na
Jong-Hoon Shin
Young-Kil Kim
|
| 원문수록처(Citation) |
VOL 46 NO. 02 PP. 0407 ~ 0409 (2019. 12) |
한글내용
(Korean Abstract) |
최근 자연어 처리 연구에서 대용량 코퍼스로부터 문맥을 고려할 수 있는 BERT 등과 같이 양방향 트렌스포머를 통해 언어 모델을 사전학습하고 이를 응용 태스크에 적용하여 높은 성능을 달성하였다. 본 연구에서는 기존의 BERT의 Mask LM 태스크에서 매 학습마다 마스킹(Masking)되는 단어를 다르게 하는 Dynamic Mask LM 방식을 사용하는 등의 최적화를 통해 기존 BERT 모델을 개선한 RoBERTa 모델을 적용하고 형태소 단위의 토크나이저와 BPE 단위의 토크나이저를 결합하여 미등록어에 강건한 하이브리드 방식의 토크나이즈 방식을 제안하여 기존의 BERT 모델의 성능을 더욱 향상시켰다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
