정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
이기종 프로세서에서의 딥 러닝 응용 성능 향상을 위한 병렬화 및 파이프라이닝 기법 |
| 영문제목(English Title) |
Accelerating a Deep Learning Application by Parallelization and Pipelining on Heterogeneous Processors |
| 저자(Author) |
삼니엥
정은진
김장률
이재성
하순회
Samnieng Tan
EunJin Jeong
Jangryul Kim
Jaeseong Lee
Soonhoi Ha
|
| 원문수록처(Citation) |
VOL 27 NO. 10 PP. 0497 ~ 0502 (2021. 10) |
한글내용
(Korean Abstract) |
임베디드 시스템에서 딥 러닝 응용에 대한 필요가 증가함에 따라, 응용을 가속하는 데에 있어서 CPU가 아닌 처리 요소(processing element)를 임베디드 기기에 포함되고 있다. NVIDIA Jetson AGX Xavier는 대표적인 예제로 8-core CPU 뿐만 아니라 GPU와 2개의 딥러닝 가속기를 함께 갖고 있어서 자원이 제한된 환경에서 딥 러닝 응용의 성능을 끌어올리는 데에 활용된다. 임베디드 기기가 이기종처리 요소를 제공한다고 하여도, 이런 다양한 요소들을 함께 활용하여 성능을 올리는 것은 상당한 노력을 필요로 한다. 본 논문에서는 기존의 존재하는 여러 기법들과 우리가 제안하는 네트워크 파이프라이닝 기법을 함께 조합하여 이기종 처리요소를 가진 Xavier에서 딥 러닝 응용의 처리량을 최대화 하는 기법을 제안한다. 여러 개의 이미지 분류 예제와 사물 인식 예제를 통해 하나의 GPU를 사용하는 기존의 방법 대비 최대 355%까지 성능이 향상되는 것을 확인하였다. |
영문내용
(English Abstract) |
Since the need of deep learning applications in embedded systems is increasing, non-CPU processing elements are equipped on an embedded device to accelerate those applications. NVIDIA Jetson AGX Xavier (Xavier) is a representative example which not only has an octa-core CPU, but also has one powerful GPU and two deep learning accelerators to enhance the performance of deep learning inference on resource-constrained environments. Although an embedded device provides heterogeneous processing elements, utilizing diverse computation units is burdensome to increase performance. In this paper, we proposed a technique that combines multiple existing methods and our proposed network pipelining method to maximize the throughput of deep learning applications. Our network pipelining method is made for utilizing heterogeneous processing elements on the Xavier. Results of experiments with image classification and object detection examples revealed up to 355% improvement compared to baseline Frames Per Second (FPS) with a single GPU. |
| 키워드(Keyword) |
딥 러닝
이기종 프로세서
파이프라이닝
병렬화
deep learning
heterogeneous processors
pipelining
parallelization
|
| 파일첨부 |
PDF 다운로드
|
