딥러닝 학습에서 동기화 배리어 재배치와 파이프라이닝을 이용한 Double-Averaging 가속

임동신; 양용준; 조 신; Dong Shin Lim; Yong Jun Yang; Shin Cho; 유찬희; 박경석; Chanhee Yu; Kyongseok Park

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회논문지 (Journal of KIISE)

정보과학회논문지 (Journal of KIISE)

Current Result Document : 8 / 136 이전건 다음건

한글제목(Korean Title)	딥러닝 학습에서 동기화 배리어 재배치와 파이프라이닝을 이용한 Double-Averaging 가속
영문제목(English Title)	Double-Averaging Acceleration with Synchronization Barrier Repositioning and Pipelining in Deep Learning
저자(Author)	임동신 양용준 조 신 Dong Shin Lim Yong Jun Yang Shin Cho 유찬희 박경석 Chanhee Yu Kyongseok Park
원문수록처(Citation)	VOL 48 NO. 11 PP. 1221 ~ 1227 (2021. 11)
한글내용 (Korean Abstract)	분산컴퓨팅을 이용한 딥러닝에서 동기화는 학습에 중요한 요소 중 하나이다. Local SGD는 낮은 빈도로 동기화하는 방법으로 빠른 학습이 가능하지만 수렴난이도가 높은 단점이 있다. 이에 수렴난이도를 낮추고자 Double-Averaging과 SlowMo가 제안되었다. Double-Averaging은 momentum buffer 동기화를 추가하여 수렴난이도를 개선하였지만 동기화 데이터의 증가로 인해 학습 시간 또한 증가하는 문제가 있다. 반면 SlowMo는 Local SGD에 Two-layer momentum 구조를 추가하여 동기화 데이터의 증가에 따른 학습 시간의 증가 없이 수렴난이도를 낮췄다. 그러나 이를 위해서는 적절한 SlowMo 하이퍼파라미터들을 찾아야 하는 단점이 있다. 따라서 본 논문에서는 동기화 배리어 재배치와 파이프라이닝을 이용한 Double-Averaging 가속방법을 제안하였으며 실험을 통해 수렴난이도와 가속 성능 측면에서 모두 우수함을 확인하였다.
영문내용 (English Abstract)	In deep learning using distributed computing, synchronization is one of the most important factors. While Local SGD is a low-frequency synchronization method that enables fast training, it is limited by high convergence difficulties. And Double-Averaging and SlowMo have been proposed to reduce the convergence difficulties of Local SGD. Double-Averaging improves the convergence difficulties by adding momentum buffer synchronization. However, the training time also increases due to the increased data synchronization. On the other hand, SlowMo adds a Two-layer momentum structure to the Local SGD resulting in reduced convergence difficulties without additional synchronization. However, this requires finding the appropriate SlowMo hyper-parameters. Therefore, in this paper, we proposed accelerated Double-Averaging via synchronization barrier repositioning and pipelining. The proposed method significantly reduced the convergence difficulties and accelerated performance.
키워드(Keyword)	추천 시스템 딥러닝 순환 신경망 임베딩 LSTM recommendation system deep learning recurrent neural networks embedding LSTM 딥러닝 분산학습 local SGD double-averaging deep learning distributed training local SGD double-averaging
파일첨부	PDF 다운로드