Current Result Document :
| 한글제목(Korean Title) |
데이터 병렬적 딥러닝의 성능분석 |
| 영문제목(English Title) |
Performance Analysis of Data-parallel Deep Learning |
| 저자(Author) |
신유리
이은경
이영민
Yooree Shin
Eungyeong Lee
Youngmin Yi
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 1266 ~ 1268 (2022. 12) |
한글내용
(Korean Abstract) |
파이토치의 DistributedDataPatallel 모듈을 이용한 데이터 병렬 분산 학습의 성능을 분석하였다. GPU의 개수에 비례하여 속도가 증가하지 않는 것을 확인하였다. 확장성을 저해하는 주된 요인은 DDP 자체 오버헤드와 GPU 간의 그래디언트 교환을 위한 통신임을 확인했다. 통신이 역전파 연산과 동시에 수행되지만 이 때 역전파 연산이 느려짐을 관찰하였고, 이는 파라미터가 많고 연산시간이 상대적으로 짧은 트랜스포머 모델이 합성곱 모델보다 두드러졌다. 8개의 A10 GPU에서, VGG16은 6.42배 가속되는 반면, XLM-RoBERTa는 3.47배만 가속되었다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
