정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document : 164 / 164
| 한글제목(Korean Title) |
빅데이터 분석 및 머신러닝 서비스를 위한 컨테이너 기반 HPC 클러스터 구축 및 성능 분석 |
| 영문제목(English Title) |
The Implementation and Performance Analysis of Container-based HPC Cluster System for Big Data Analysis and Machine Learning Services |
| 저자(Author) |
박주원
이승민
홍태영
Ju-Won Park
Seungmin Lee
Taeyoung Hong
|
| 원문수록처(Citation) |
VOL 27 NO. 05 PP. 0228 ~ 0233 (2021. 05) |
한글내용
(Korean Abstract) |
기상, 화학, 고에너지 물리와 같은 기초 과학 분야의 대규모 워크로드를 실행하기 위해 대규모의 클러스터 시스템에서는 병렬 컴퓨팅에 최적화된 시스템 환경을 구축하여 서비스를 제공하고 있다. 그러나 최근 4차 산업 혁명으로 인하여 빅데이터 분석, 머신 러닝과 같은 새로운 형태의 사용자 요구 사항이 제시됨에 따라 기존 클러스터 시스템에서는 경직된 소프트웨어 구성, 유지 보수 비용 증가, 제한된 작업 형태 지원 등 많은 어려움에 직면해 있다. 이러한 어려움을 해결하기 위해 본 논문에서는 컨테이너 기반 HPC 클러스터 구축 방안을 제시한다. 제시된 구축 방안에서는 컨테이너 기술을 활용하여 클러스터 시스템의 소프트웨어 스택을 간결화함으로써 자원 유연성을 향상시켜 사용자 맞춤형 서비스가 가능하다. 실험 환경은 컨테이너 실행 데몬으로 Docker, 컨테이너 관리 툴킷으로는 kubernetes를 활용하여 구축했으며 HPL, HPCG, NPB benchmark 툴킷을 이용하여 다양한 워크로드에 대한 계산 성능 측정 결과를 제시한다.
|
영문내용
(English Abstract) |
Several fields of basic sciences, such as meteorology, chemistry, and high-energy physics, require large-scale workload. To support it, a high-performance computing (HPC) system, which is optimized for parallel computing, is widely used. Recently, due to the fourth industrial revolution, there has been an increasing demand for HPC resources in computer science fields, such as big data analysis and machine learning. To support these new services, the existing HPC system has major problems, such as rigid software configuration, high maintenance cost, and limited job type support. In this paper, we propose a container-based HPC cluster system architecture to solve these problems. The presented system architecture uses Docker for container runtime engine and kubernetes as the container orchestration toolkit.
|
| 키워드(Keyword) |
컨테이너
kubernetes
HPC 클러스터 시스템
벤치마크 툴킷
container
kubernetes
HPC cluster system
benchmark
|
| 파일첨부 |
PDF 다운로드
|
