정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
역제곱 비균일 양자화 기법을 활용한 심층신경망의 에너지 효율성 개선 |
| 영문제목(English Title) |
Exploiting Inverse Power of Two Non-Uniform Quantization Method to Increase Energy Efficiency in Deep Neural Networks |
| 저자(Author) |
최준영
유준혁
Jun-Yeong Choi
Joonhyuk Yoo
|
| 원문수록처(Citation) |
VOL 47 NO. 01 PP. 0027 ~ 0035 (2020. 01) |
한글내용
(Korean Abstract) |
심층신경망(DNN)의 연산 복잡성은 과도한 연산량과 에너지 소비를 초래하기 때문에 제한적인 자원을 가진 임베디드 디바이스로의 DNN 적용을 어렵게 만드는 주요한 요인이다. 이를 완화하기 위해 본 논문에서는 DNN의 가중치 정밀도를 감소시키면서 기존 양자화 기법에 비해 더 많은 희소성을 부여하여 연산량과 에너지 소비를 감소시킬 수 있는 역제곱 비균일 양자화 기법을 제안한다. 서로 다른 맵핑 정책을 가진 다양한 균일/비균일 양자화 기법을 AlexNet과 VGGNet 모델에서 구현하여 CIFAR-10과 ImageNet 데이터셋을 활용한 이미지 분류 작업을 통해 제안된 역제곱 양자화 기법의 정확도와 에너지 효율성을 입증하고, 이를 더욱 향상시킬 수 있는 추가적인 학습 기법도 제시한다. 실험 결과, 제안된 역제곱 비균일 기법으로 양자화된 AlexNet과 VGGNet 모델의 비트폭이 2인 경우에 완전 정밀도 기법에 비해 정확도는 각각 2.2%와 2.5%의 손실이 있지만, 에너지 효율성 측면에서는 완전 정밀도 대비 각각 63.2%와 66.5% 정도로 에너지 소비를 감소시켰다.
|
영문내용
(English Abstract) |
DNN's computational complexity makes it difficult for application to embedded devices of limited resources because the deep learning requires high performance computing power and consumes considerable energy. To mitigate this, this paper proposes an energy-efficient Inverse Power of Two(IPow2) nonuniform quantization technique to induce more sparsity than the existing quantization methods while reducing precision of weights, resulting in the reduction of computational complexity as well as energy consumption in DNN. Accuracy and energy efficiency of the proposed IPow2 are quantitatively validated by executing image classification task with data sets of CIFAR- 10/ImageNet through implementing the quantized AlexNet/VGGNet models of a variety of mapping policies. Experimental results show that the proposed IPow2 method consumes less energy by 63.2% and 66.5% while achieving minor accuracy loss by 2.2% and 2.5% respectively compared with the full precision one, in case of two-bits quantization in the AlexNet/VGGNet models.
|
| 키워드(Keyword) |
심층신경망
역제곱 비균일 양자화 기법
에너지 효율성 DNN
energy-efficiency
inverse power of two non-uniform quantization
|
| 파일첨부 |
PDF 다운로드
|
