KCC 2021
Current Result Document : 1 / 1
| 한글제목(Korean Title) |
Post-training을 이용한 한국어 전이학습 모델에서의 성능 향상 |
| 영문제목(English Title) |
Performance Improvement in Transfer Learning Models Using Post-training |
| 저자(Author) |
김균엽
이승수
모윤호
이소라
강상우
Gyunyeop Kim
Seungsoo Lee
Yunho Mo
Sora Lee
Sangwoo Kang
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 0301 ~ 0303 (2021. 06) |
한글내용
(Korean Abstract) |
최근 자연어처리에서는 transformer와 전이 학습을 이용한 모델들이 많은 분야에서 좋은 성능을 보이고 있다. BERT와 같은 transformer와 전이 학습을 이용한 모델은 pre-training에서 일반적인 특성을 가진 대규모의 데이터셋으로 비지도학습을 진행하며 이루 downstream task에서 fine-tuning을 진행한다. 하지만 pre-trained model은 일반적인 데이터셋을 통해 학습하기에 실제 downstram task에서 필요한 domain specific한 정보를 충분히 포함하지 못한다. 따라서 본 논문에서는 post-training 과정을 통해 fine-tuning 이전의 추가 학습 과정을 시행하고 해당 방법을 통해 최종 성능 향상을 도모한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
