2016년 컴퓨터종합학술대회
Current Result Document :
| 한글제목(Korean Title) |
분산 메모리 기반 Spark 플랫폼의 빅데이터 질의 성능 분석 |
| 영문제목(English Title) |
Big Data Query Performance Analysis Using Distributed Memory Processing Platform: Spark |
| 저자(Author) |
김성숙
박기진
Sungsook Kim
Kiejin Park
|
| 원문수록처(Citation) |
VOL 43 NO. 01 PP. 1538 ~ 1540 (2016. 06) |
한글내용
(Korean Abstract) |
MapReduce 를 사용한 기존 빅데이터 질의는 질의 시 각 디스크에 접근하여 처리하는 병목 현상으로 인해 실시간 분석에는 사용이 어려웠다. 분산 메모리 기반의 Spark 처리는 빅데이터 질의시 계속 반복적인 연산인 경우 매번 디스크에서 읽어보는 방식보다 각 클러스터 메모리의 유휴 공간을 이용하여 바로 계산하여 빠른 질의를 도울 수 있다. 이는 Spark 에서 질의 처리를 위한 컬럼 기반의 Data frame 을 사용하기 때문이며 기존 데이터 처리보다 질의 성능을 높일 수 있다. 본 연구에서는 분산 메모리 기반 빅데이터 질의 시스템의 성능 분석을 위하여, 클러스터 구성을 Hadoop YARN 환경에서 Spark 의 In-memory 분산 처리 플랫폼을 사용하였다. 이를 통하여, 클러스터 노드의 executor 갯수 증가에 따라 가파른 처리속도 개선이 있었지만 TB 단위의 빅데이터 질의에서는 일정 수를 넘을 경우 처리시간의 변화가 없음을 확인 수 있었다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
