러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석

곽재혁; 김상완; 허태상; 황순욱; Jae-Hyuck Kwak; Sangwan Kim; Taesang Huh; Soonwook Hwang

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

Current Result Document : 3 / 5 이전건 다음건

한글제목(Korean Title)	러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석
영문제목(English Title)	Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem
저자(Author)	곽재혁 김상완 허태상 황순욱 Jae-Hyuck Kwak Sangwan Kim Taesang Huh Soonwook Hwang
원문수록처(Citation)	VOL 21 NO. 08 PP. 0561 ~ 0566 (2015. 08)
한글내용 (Korean Abstract)	하둡은 오픈소스 기반의 분산 데이터 처리 프레임워크로서 과학 및 상용 분야에서 널리 사용되고 있는데 최근에 대규모 실시간 처리 및 분석을 위해 고성능 컴퓨팅(HPC) 기술을 활용하여 하둡을 고성능화하기 위한 연구가 시도되고 있다. 본 논문에서는 하둡의 기본 파일시스템 구현인 하둡 분산파일시스템(HDFS)을 고성능 병렬 분산파일 시스템인 러스터 파일시스템으로 대처하여 사용할 수 있도록 하둡 파일시스템 라이브러리를 확장하여 구현하였고 하둡이 제공하는 표준 벤치마크 도구를 사용하여 성능을 분석하였다. 실험 결과 러스터 파일시스템 기반으로 하둡 맵리듀스 응용을 수행하는 경우에 2~13배의 성능 향상이 있음을 확인할 수 있었다.
영문내용 (English Abstract)	Hadoop is becoming widely adopted in scientific and commercial areas as an open-source distributed data processing framework. Recently, for real-time processing and analysis of data, an attempt to apply high-performance computing technologies to Hadoop is being made. In this paper, we have expanded the Hadoop Filesystem library to support Lustre, which is a popular high-performance parallel distributed filesystem, and implemented the Hadoop MapReduce execution environment over the Lustre filesystem. We analysed Hadoop MapReduce over Lustre by using Hadoop standard benchmark tools. We found that Hadoop MapReduce over Lustre execution has a performance 2-13 times better than a typical Hadoop MapReduce execution.
키워드(Keyword)	러스터 하둡 맵리듀스 고성능컴퓨팅 Lustre Hadoop MapReduce high performance computing
파일첨부	PDF 다운로드