Spark Streaming 기반 클라우드 시스템에서 실시간 고장 복구를 지원하기 위한 기법들

김정호; 박대동; 김상욱; 문용식; 홍성수; Jungho Kim; Daedong Park; Sangwook Kim; Yongshik Moon; Seongsoo Hong

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회논문지 (Journal of KIISE)

정보과학회논문지 (Journal of KIISE)

Current Result Document : 21 / 41 이전건 다음건

한글제목(Korean Title)	Spark Streaming 기반 클라우드 시스템에서 실시간 고장 복구를 지원하기 위한 기법들
영문제목(English Title)	Techniques to Guarantee Real-Time Fault Recovery in Spark Streaming Based Cloud System
저자(Author)	김정호 박대동 김상욱 문용식 홍성수 Jungho Kim Daedong Park Sangwook Kim Yongshik Moon Seongsoo Hong
원문수록처(Citation)	VOL 44 NO. 05 PP. 0460 ~ 0468 (2017. 05)
한글내용 (Korean Abstract)	실시간 클라우드의 실현에 있어서 데이터 분석 프레임워크는 중추 역할을 수행한다. 현존하는 프레임워크들 중에 가장 많은 요구사항들을 충족하는 것은 Spark Streaming이다. 하지만 이 프레임워크는 초 단위 실시간 고장 복구를 충족하지 못하고 있다. Spark Streaming의 고장 복구 기법은 정상 동작 시에 기록된 누적 변형 히스토리를 토대로 고장 직전 마지막 상태 데이터를 재연산하여 복구하기 때문에 히스토리의 길이에 비례하여 복구 시간이 증가된다. 따라서 제한된 시간 이내에 고장 복구가 완료됨을 보장되지 않는다. 또한 초기 상태 데이터를 고장 감내 스토리지에서 읽는 시간이 수십 초에 달하여 초 단위 고장 복구 시간을 달성할 수 없다. 본 논문에서는 언급된 문제들을 해결하기 위한 두 가지 기법들을 제안한다. 이를 Spark Streaming 1.6.2에 적용하고, 실험을 통해 고장 복구 시간이 제한 시간 이내에 완료되며 평균 약 41.57% 단축됨을 확인했다.
영문내용 (English Abstract)	In a real-time cloud environment, the data analysis framework plays a pivotal role. Spark Streaming meets most real-time requirements among existing frameworks. However, the framework does not meet the second scale real-time fault recovery requirement. Spark Streaming fault recovery time increases in proportion to the transformation history length called lineage. This is because it recovers the last state data based on the cumulative lineage recorded during normal operation. Therefore, fault recovery time is not bounded within a limited time. In addition, it is impossible to achieve a second-scale fault recovery time because it costs tens of seconds to read initial state data from fault-tolerant storage. In this paper, we propose two techniques to solve the problems mentioned above. We apply the proposed techniques to Spark Streaming 1.6.2. Experimental results show that the fault recovery time is bounded and the average fault recovery time is reduced by up to 41.57%.
키워드(Keyword)	스파크 스트리밍 고장 복구 실시간 데이터 분석 프레임워크 Spark Streaming fault recovery real-time data analytics framework
파일첨부	PDF 다운로드