정보과학회 논문지 C : 컴퓨팅의 실제
Current Result Document :
| 한글제목(Korean Title) |
Hadoop 분산 파일 시스템의 효과적인 저장 공간 절약 기법 |
| 영문제목(English Title) |
An Efficient Method for Enhancing the Storage Efficiency in Hadoop DFS |
| 저자(Author) |
안후영
이경하
이수호
이윤준
이상민
김영균
HooYoung Ahn
KyongHa Lee
SooHo Lee
YoonJoon Lee
SangMin Lee
YoungKyun Kim
|
| 원문수록처(Citation) |
VOL 19 NO. 03 PP. 0144 ~ 0148 (2013. 03) |
한글내용
(Korean Abstract) |
분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. 현재의 분산 파일시스템들은 내고장성을 위해 주로 데이터 복제 기법에 의존한다. 그러나 이 방법은 저장 공간을 추가로 필요로 하는 단점을 가진다. 이 논문에서는 이 추가 저장 공간의 문제점을 해결하고자 erasure coding을 이용한 패리티 블록의 작성을 통해 데이터 복제본을 대체함으로써 동일 수준의 내고장성을 유지하면서도 저장 공간을 보다 절약하는 방법을 제안한다. 특히, 동일 노드 상의 서로 다른 파일의 블록들을 하나의 스트라이프로 구성하여 패리티 블록을 생성함으로써 인코딩, 디코딩 시의 I/O 효율을 향상한다. 또한, erasure coding 적용 이후에도 신뢰성이 유지되는 블록 배치 기법을 제안하고 구현하였다.
|
영문내용
(English Abstract) |
Conventional distributed file systems support high scalability and availability with many machines. Most of the distributed file systems mainly rely on data replication for providing fault-tolerance. However, the replication scheme also increases the storage overhead of the file system. To address the issue, we provide a novel method which substitutes the replica blocks with parity blocks by using erasure coding techniques. Especially, by making a stripe with the blocks which come across different files but are stored in a single node, we reduce I/O cost for encoding and decoding blocks significantly. Furthermore, we also propose and implement a novel block placement policy that supports high reliability as much as when using data replication scheme.
|
| 키워드(Keyword) |
HDFS(hadoop distributed file system)
erasure coding
공간 효율성
cloud computing
|
| 파일첨부 |
PDF 다운로드
|
