한글내용
(Korean Abstract) |
뉴럴 네트워크 가속기에는 다양한 행렬 곱셈 가속회로가 존재하며, 한번에 많은 연산을 수행하기 때문에 딥러닝 모델의 추론 속도를 향상시킬 수 있다. 가속기 중에 VTA(Versatile Tensor Accelerator) 에는 8비트 정수형 행렬 곱셈 가속회로가 존재하고, 회로의 크기 및 타입에 맞게 데이터를 입력해주어야 한다. 입력 데이터를 8비트 정수형 데이터로 사용하려면 양자화를 통한 변환이 필요하다. 딥러닝 모델 추론에서 양자화를 활용하는 방법은 레이어 기반, 채널 기반, 등 다양하게 연구되었지만, VTA의 행렬 곱셈 회로는 타일 기반이므로 양자화 시 오차가 발생한다. 본 논문에서는 VTA의 행렬 곱셈 가속회로 활용으로 인한 오차를 줄이기 위해 타일링과 양자화를 접목한 방법인 타일 기반 양자화를 제안한다. Darknet 프레임워크에서 ResNet18 모델로 ImageNet의 검증 데이터셋 50,000장을 추론하였을 때, 타일 기반 양자화 방식의 top-1, top-5 정확도는 대칭형은 66.1%, 87.0%, 비대칭형은 67.1%, 87.6%이다. 대칭형 방법은 레이어 기반보다 타일 기반의 top-1, top-5 정확도가 각각 5%, 4.1% 향상되었다. 타일 기반 방법을 사용하면 레이어 기반보다 데이터의 범위를 좁힐 수 있으므로 정밀한 연산이 가능하여 정확도가 개선된다. |
