2016년 컴퓨터종합학술대회
Current Result Document :
| 한글제목(Korean Title) |
Spark 환경에서 스트림 처리 성능 향상을 위한 스케줄링 기법 |
| 영문제목(English Title) |
Scheduling Scheme for Improving Stream Processing Performance in Spark Environments |
| 저자(Author) |
전현욱
송진우
김민수
최도진
임종태
복경수
유재수
Hyeonwook Jeon
JinWoo Song
Minsoo Kim
DoJin Choi
Jongtae Lim
Kyoungsoo Bok
Jaesoo Yoo
|
| 원문수록처(Citation) |
VOL 43 NO. 01 PP. 0308 ~ 0310 (2016. 06) |
한글내용
(Korean Abstract) |
최근 IT 기술의 발달과 소셜 미디어, 모바일 단말기 사용 증가로 인해 대규모로 발생하는 스트리밍 데이터를 실시간으로 처리하는 많은 연구들이 진행되고 있다. 스트림 빅데이터에 대한 실시간 처리를 지원하기 위해서는 스케줄링 기법이 매우 중요하다. 본 논문에서는 Spark에서 스트림 데이터를 실시간 처리하기 위해 노드의 부하를 고려한 잡 스케줄링 기법을 제안한다. 제안하는 기법에서는 각 노드의 부하를 판단하기 위해 Spark의 잡 처리시간, CPU, 메모리 부하를 고려한다. CPU와 잡의 처리시간의 값을 통해 노드의 부하를 결정하고 부하가 적은 노드에 가용한 메모리의 크기만큼 잡을 할당한다. 할당된 잡의 처리시간이 지연될 경우 부하가 적은 노드에 잡을 이주 또는 복제를 하여 작업 처리를 수행한다. 다양한 성능평가를 통해 제안하는 기법의 우수성을 보인다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
