정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
Intel KNL 클러스터 환경에서 AVX-512 기반 Blocked GEMM 알고리즘을 활용한 ScaLAPACK의 병렬 행렬 곱셈 연산PDGEMM 성능 향상 |
| 영문제목(English Title) |
Improvement on Parallel Matrix Multiplication Routines in ScaLAPACK using Blocked Matrix Multiplication Algorithm on Intel KNL Clusters with AVX-512 |
| 저자(Author) |
안성환
장유진
하승준
남범석
Sunghwan Ahn
Yujin Jang
Seungjun Ha
Beomseok Nam
응웬티미뚜엔
박유상
최재영
Thi My Tuyen Nguyen
Yoosang Park
Jaeyoung Choi
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 0007 ~ 0012 (2021. 01) |
한글내용
(Korean Abstract) |
행렬곱셈연산(DGEMM)은 선형대수학, 머신러닝, 통계분야 등에서 적용되는 핵심 계산 루틴으로, 프로세서 제조회사들이 여러 코어를 가진 단일노드에서 어셈블리 코드를 사용하여 직접 최적화시킨 루틴들을 발표하였으며, 다양한 자동 튜닝 기법을 통해 계산과정을 최적화시키기 위한 많은 연구들을 수행하였다. 행렬곱셈연산의 처리 시간을 효과적으로 줄이기 위해서는 노드별로 수행되는 곱셈과정을 최적화시켜 병렬컴퓨팅 환경에 적합한 형태로 처리할 수 있는 위한 방법이 필요하다. 본 논문에서는 Intel Knights Landing (KNL) 환경에서의 병렬 배정밀도 부동소수점 행렬곱셈연산(PDGEMM) 및 적용과정을 소개한다. 제안하는 적용과정의 세부사항은 병렬컴퓨팅 실행 환경을 위한 단일 노드의 행렬곱셈연산을 최적화한 부분행렬곱셈 과정과 KNL 실행 환경에 적용할 수 있는 Intel AVX-512 명령어를 적용할 수 있는 컴파일 과정을 포함한다. 실험에서는 제안하는 PDGEMM의 성능이 각 4개 및 16개 노드로 구성된 KNL 클러스터 환경에서 Intel Math Kernel Library (MKL)의 병렬 행렬곱셈루틴보다 각 6% 및 68% 향상된 성능을 보임을 확인하였다.
|
영문내용
(English Abstract) |
General matrix multiplication (GEMM) is a core computation algorithm in linear algebra, machine learning, statistics, and many other domains. Optimizations of such routines, including GEMM, have been conducted by vendors and researches with auto-tuning techniques. To achieve high performance for parallel matrix multiplication, a matrix multiplication processing scheme based on the optimization of local matrix multiplication at each node should be necessarily applied. In this paper, the application of parallel double-precision general matrix multiplication (PDGEMM) on Intel KNL was examined. The application of DGEMM calculated sub-matrices multiplication at each node. Details of the proposed DGEMM were introduced, including a blocked matrix multiplication algorithm with AVX-512 instruction sets and several optimization techniques, such as the data prefetching, loop unrolling, and cache blocking. This study found that the proposed PDGEMM performance was better than that in the ordinary cases of PDGEMM from the Intel Math Kernel Library (MKL) on both 4 and 16-node KNL clusters, with the flop rate improvements of 6% and 68%, respectively.
|
| 키워드(Keyword) |
비휘발성 메모리
원격 접근
SkipList
non-volatile memory
NUMA
remote access
SkipList
병렬 행렬곱셈연산
병렬 BLAS
KNL
AVX-512
parallel matrix-matrix multiplication
parallel BLAS
Intel Knights Landing
AVX-512
|
| 파일첨부 |
PDF 다운로드
|
