정보과학회 논문지 C : 컴퓨팅의 실제
Current Result Document :
| 한글제목(Korean Title) |
MapReduce 프레임워크의 작업 완료 시간 단축을 위한 JobTracker 결함 허용 메커니즘 |
| 영문제목(English Title) |
A JobTracker Fault-tolerant Mechanism for Reducing Job Completion Time in the MapReduce Framework |
| 저자(Author) |
강민구
박기진
황병현
Minkoo Kang
Kiejin Park
Byeonghyeon Hwang
|
| 원문수록처(Citation) |
VOL 18 NO. 03 PP. 0173 ~ 0180 (2012. 03) |
한글내용
(Korean Abstract) |
클라우드 컴퓨팅 서비스를 제공하기 위해서는 데이터의 분산 저장 및 병렬 처리가 가능한 IT 인프라 구축이 필수적이다. 이를 위해서 대용량 데이터의 분산 처리가 지원되는 MapReduce 프레임워크가 각광 받고 있다. MapReduce 프레임워크는 저비용으로 분산 병렬 처리 시스템을 구축하기에 효과적이지만, 전체 MapReduce 작업의 스케줄링 및 작업 할당을 담당하는 JobTracker가 SPOF(Single Point of Failure)라는 문제가 있다. 이로 인해 MapReduce 작업 도중 JobTracker에 결함이 발생하게 되면 전체 MapReduce 작업을 처음부터 다시 시작해야 하므로 작업 완료 시간이 증가한다. 위와 같은 문제를 해결하고자 본 논문에서는 MapReduce 프레임워크의 JobTracker 결함 허용 메커니즘을 설계･구현하고, MapReduce 테스트베드와 결함 주입 기법을 이용하여 성능 평가를 실시하였다. 그 결과, 기존 MapReduce에 비해 JobTracker 결함 허용이 적용된 MapReduce의 평균 작업 완료 시간은 46.5%～64.4% 감소됨을 확인하였다.
|
영문내용
(English Abstract) |
In order to effectively provide cloud computing, IT infrastructure which supports distributed file system and parallel data processing is essential. To this end, MapReduce framework has been widely used for distributed processing of large-scale data. MapReduce framework has been proven as an efficient way to construct distributed and parallel processing system at relatively low cost. However, it has the problem of single point of failure (SPOF) at JobTracker that is responsible for scheduling and assigning of all MapReduce tasks. When JobTracker has failed, the completion time of the MapReduce job is increased because the entire MapReduce tasks must be restarted. To resolve the above mentioned problem we designed and implemented JobTracker fault-tolerant mechanism for MapReduce framework. The performance of the mechanism is evaluated by using MapReduce testbed and fault-injection method. As a result, the average job completion time of the mechanism is dramatically reduced about 46.5%～64.4% compared to the result of a naive MapReduce.
|
| 키워드(Keyword) |
클라우드 컴퓨팅
결함 허용
Cloud Computing
MapReduce
JobTracker
Fault-tolerant
|
| 파일첨부 |
PDF 다운로드
|
