Current Result Document :
| 한글제목(Korean Title) |
Pagerank와 N-gram 위치 매트릭스 동적 가중치 모델을 통한 대용량 사전학습 언어모델 성능개선 연구 |
| 영문제목(English Title) |
A study on performance improvement of PLM using Pagerank and N-gram position matrix dynamic weighting models |
| 저자(Author) |
정의석
김현우
송화전
Euisok Chung
Hyun Woo Kim
Hwa Jeon Song
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0359 ~ 0361 (2022. 12) |
한글내용
(Korean Abstract) |
대용량 사전학습 언어모델 (PLM)을 특정 도메인에 활용하기 위해서는 fine-tuning과 같은 도메인 적응 절차가 요구된다. 기존 연구는 PLM의 도메인 테스트 오류 분석을 통해 N-gram 오류의 중요성을 확인하고, N-gram 도메인 어댑터 기술을 통해 PLM 성능 개선을 시도하였다. 본 연구는 해당 연구에 기반하여 도메인 N-gram 그래프와 Pagerank를 통한 새로운 N-gram 선정 기술을 제안한다. 또한, N-gram 도메인 어댑터 기술에서 단순 N-gram 임베딩 값의 통합이 아닌, PLM의 출력값을 반영한 동적 N-gram 가중치 결정 기술을 제안한다. 해당 동적 가중치 결정 기술은 Local Weight, Global Weight, Position-Aware의 접근 방법과 Attention 기반 가중치 결정과 Gate 기반 가중치 결정들로 구성 된다. 해당 모델들의 다양한 조합을 실험을 통해 검증 하였을 때, Global weight와 Pagerank 조합 모델이 모든 평가셋에서 기존 베이스라인 성능을 개선할 수 있었다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
