KCC 2021
Current Result Document :
| 한글제목(Korean Title) |
CAM과 Dense Synthesizer를 이용한 트랜스포머 디코딩 속도 개선 |
| 영문제목(English Title) |
Faster Transformer Decoding with CAN and Dense Synthesizer |
| 저자(Author) |
김도경
정영준
황현선
이창기
이성민
류우종
염홍선
김준석
Dokyoung Kim
Youngjun Jung
Hyunsun Hwang
Changki Lee
Seongmin Lee
Woojong Ryu
Hongseon Yeom
Junseok Kim
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 0364 ~ 0366 (2021. 06) |
한글내용
(Korean Abstract) |
최근 신경망을 이용한 기계 번역 연구들이 다양하게 진행되고 있으며, 그중에서 트랜스포머 모델이 가장 우수한 번역 성능을 보이나, 번역 속도가 느리다는 단점이 있어 번역 속도를 증가시키기 위한 많은 연구가 진행되고 있다. 본 논문에서는 선행 연구 중 트랜스포머 디코더의 Self-Attention, Cross-Attention, FFN을 하나의 Attention으로 통합한 CAN(Compressed Attention Network)과 Self-Attention을 대체할 수 있는 Synthetic Attention 중 하나인 Dense Synthesizer를 결합하여 트랜스포머 모델의 디코딩 속도를 개선하였다. 실험 결과, Baseline과 비교할 때 CAN과 Dense Synthesizer를 결합한 모델은 번역 성능이 BLEU 1.9가 감소하였지만, 번역 속도를 119.7% 증가시켰다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
