Current Result Document :
| 한글제목(Korean Title) |
Conv 연산을 추가한 BERT 모델의 성능 개선 연구 |
| 영문제목(English Title) |
A Study on the Performance Improvement of the BERT Model with Conv Operation |
| 저자(Author) |
국주현
이영아
김철연
Ju-Hyun Cook
Yeong-ah Lee
Chulyun Kim
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0122 ~ 0124 (2022. 12) |
한글내용
(Korean Abstract) |
대표적인 언어 모델 BERT와 GPT는 학습에 많은 컴퓨팅 자원을 요구한다. 언어모델의 정확도를 유지하면서 학습 비용을 줄이기 위한 방법론을 연구하였다. 이를 위한 방안으로 언어 모델 BERT의 임베딩 layer 직후에 conv 1d layer를 추가하고, BERT layer 수와 hidden size 수를 줄임으로 전체 파라미터 수를 줄였을 때도 original BERT와 비교했을 때 성능에 어떻게 영향을 미치는지 실험하였다. 실험 결과, original BERT와 비교했을 때 유사한 성능을 내었다. BERT layer 수와 hidden size 수를 줄였음에도 불구하고, Original BERT와 경쟁력 있는 성능을 내었음에 의의를 가진다 |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
