하둡 기반 Many-Task Computing 응용 실행 최적화 기술 연구

최진영; 강대철; 김직수; Jin-Young Choi; Dae-Cheol Kang; Jik-Soo Kim

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

Current Result Document : 6 / 64 이전건 다음건

한글제목(Korean Title)	하둡 기반 Many-Task Computing 응용 실행 최적화 기술 연구
영문제목(English Title)	A Study on the Application Execution Optimization of Many-Task Computing on Hadoop
저자(Author)	최진영 강대철 김직수 Jin-Young Choi Dae-Cheol Kang Jik-Soo Kim
원문수록처(Citation)	VOL 25 NO. 12 PP. 0585 ~ 0593 (2019. 12)
한글내용 (Korean Abstract)	MTC(Many-Task Computing)는 상대적으로 짧은 작업 실행시간을 지니는 대규모 작업들을 고성능으로 처리하고자 하는 새로운 컴퓨팅 패러다임이다. 다양한 과학 응용 분야에서 MTC 패러다임을 요구하고 있으며, 이러한 MTC 응용들을 효과적으로 지원하기 위해서는 기존 배치 스케줄러의 성능을 뛰어넘는 고성능 작업 배포, 동적인 자원 할당 및 로드 밸런싱, 기존 빅데이터 응용과는 또 다른 형태의 데이터 집약형 워크로드 지원 등과 같은 기능들을 필요로 한다. 이에 따라 본 연구팀에서는 하둡(Hadoop) 플랫폼에서 대용량의 태스크들을 효과적으로 처리할 수 있는 MOHA(Mtc On HAdoop) 프레임워크를 개발하여 고성능 태스크 배포 성능을 확인하고, MTC 응용을 위한 스토리지 최적화를 위해 하둡의 기본 데이터 스토리지인 HDFS와 슈퍼컴퓨팅 분야의 Lustre 병렬파일시스템의 성능을 비교/분석함으로써 MTC 응용 실행에 적합한 환경을 제안하고자 한다.
영문내용 (English Abstract)	MTC (Many-Task Computing) is a new computing paradigm that efficiently processes a significantly large number of tasks with relatively short running times. MTC paradigm can be applied in various scientific domains, and in order to effectively support these MTC applications we must devise high-performance task dispatching mechanism, dynamic resource allocation & load balancing scheme, and support for another type of data-intensive workload (compared to existing Big Data). We have developed MOHA(Mtc On HAdoop) framework which can effectively support MTC applications on top of the Hadoop platform. In this study, we propose an optimized environment for MTC application execution by verifying the high-performance task dispatching capability of MOHA, and conducting a comparative analysis of the HDFS and Lustre parallel file system.
키워드(Keyword)	many-task computing 하둡 얀 HDFS 카프카 러스터 many-task computing hadoop YARN HDFS kafka lustre
파일첨부	PDF 다운로드