Current Result Document : 1 / 1
| 한글제목(Korean Title) |
연산 집약을 통한 인공지능 GPU 연산 가속 |
| 영문제목(English Title) |
Accelerating AI computation on a GPU via computation consolidation |
| 저자(Author) |
신현일
김지은
엄현상
김일환
Hyunil Shin
Jieun Kim
Hyeonsang Eom
Ilhwan Kim
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 0022 ~ 0024 (2022. 06) |
한글내용
(Korean Abstract) |
최근 다양한 자연어 처리 어플리케이션이 등장하였으며, 이러한 모델들은 인공지능 모델 중 Recursive(혹은 Recurrent) Neural Network 구조를 기반으로 제작되었다. 이러한 모델들은 모델의 이전 시점의 상태를 새로운 입력값으로 받기 때문에, 구조에서 병렬 수행에 한계가 있다. 이 때문에 GPU(Graphic Processing Unit) 와 같은 가속기에서 병렬성을 활용하여 인공지능 모델을 가속하기 어려우나, 이러한 모델들 중 Transformer 모델의 경우, 여러 input vector를 입력값으로 받고, 이전 모델의 Attention의 상태를 순차적으로 입력받아 처리하는 방식이며, 각각의 Transformer 내 Attention의 모델이 각자 연산되기 때문에, 병렬화를 통해 가속할 여지가 있다. 본 논문은, 이러한 특성을 이용, Attention 모델에서 진행하는 벡터 연산을 집약하여, 하나의 행렬연산으로 변환하여, Transformer 연산의 병렬성을 높이고, 이를 통해 연산 처리 시간과 메모리 통신 시간을 중첩하도록 하여, 수행시간 성능을 약 33% 증가시켰다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
