Shared Attention Network와 Multi- Query Attention을 이용한 Transformer 모델의 디코더 속도 개선

홈 > 연구문헌 > 학술대회 프로시딩 > 한국정보과학회 학술대회 > KCC 2021

한글제목(Korean Title)	Shared Attention Network와 Multi- Query Attention을 이용한 Transformer 모델의 디코더 속도 개선
영문제목(English Title)	Speed Improvement of Transformer Model using Shared Attention Network and Multi- Query Attention
저자(Author)	최민주 김도경 황현선 이창기 이성민 류우종 염홍선 김준석 Minjoo Choi Dokyoung Kim Hyunsun Hwang Changki Lee Seongmin Lee Woojong Ryu Hongseon Yeom Junseok Kim
원문수록처(Citation)	VOL 48 NO. 01 PP. 0373 ~ 0375 (2021. 06)
한글내용 (Korean Abstract)	신경망을 이용하는 기계번역 (Neural Machine Translation) 모델 중에 Transformer를 이용하는 기계번역 모델의 경우 우수한 번역 성능을 보이고 있으나 메모리 사용량이 많으며 번역 속도가 느리다는 단점이 있다. 이러한 단점을 보완하기 위해 본 논문에서는 Transformer의 디코더 구조를 개선하여 디코더의 속도를 향상시켰다. 선행 연구를 바탕으로 전체 레이어 수를 줄이고 디코더 안팎으로 Attention Mechanism에 필요한 요소를 공유하는 방법을 통해 연산 흿수 및 연산에 필요한 텐서 크기를 줄인 결과 번역 속도가 향상되었다.
영문내용 (English Abstract)
키워드(Keyword)	기계번역 NMT Transformer Shared Attention Networks Multi- Query Attention
파일첨부	PDF 다운로드