정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document : 26 / 27
| 한글제목(Korean Title) |
다양한 네트워크 환경에서 Apache Storm의 지역성 고려 그룹핑 성능 비교 |
| 영문제목(English Title) |
Performance Analysis of Locality Aware Grouping in Apache Storm over Various Network Environments |
| 저자(Author) |
손시운
남궁주홍
문양세
Siwoon Son
Juhong Namgung
Yang-Sae Moon
|
| 원문수록처(Citation) |
VOL 25 NO. 01 PP. 0024 ~ 0033 (2019. 01) |
한글내용
(Korean Abstract) |
Apache Storm은 분산 환경에서 데이터 스트림을 빠르게 처리하는 실시간 데이터 처리 시스 템이다. Storm은 다수의 서버에서 데이터 스트림을 빠르게 송수신하기 위해, 메시지 수신 서버를 선택하 는 스트림 그룹핑 기법들을 다수 제공한다. 하지만, 현재 Storm이 제공하는 그룹핑 기법들은 지역성을 고 려하지 않거나 부분적으로만 고려하여 암맹 분배와 부하 불균형 문제가 발생할 수 있다. 이러한 문제를 해결하는 Locality Aware 그룹핑은 지역성을 고려하여 가까운 수신 서버에게 더 많은 메시지를 전송하는 기법이다. 본 논문은 Locality Aware 그룹핑이 속도가 다른 네트워크 대역폭에서 기존 그룹핑 기법 대비 어떤 성능 차이를 갖는지 평가한다. 대역폭의 변화를 위해, 가장 널리 사용되는 Ethernet 장비와 고성능 네트워크 장비인 InfiniBand에서 실험한다. 본 논문의 결과는 네트워크 대역폭에 따라 적절한 Storm 그룹 핑 기법을 선택하는 기준으로 활용될 수 있다.
|
영문내용
(English Abstract) |
Apache Storm is a real-time data processing system that processes data streams quickly in a distributed environment. Storm provides several stream grouping methods for selecting a server which processes a message so as to quickly transmit data streams among multiple servers. However, the grouping methods provided by Storm may cause blind distribution and load imbalance problems because they do not consider or only partially consider the locality. Locality Aware grouping, which solves these problems, is a novel method to send more messages to more nearby receivers by considering the locality. In this study, we evaluate how the Locality Aware grouping is different, with respect to performance, from the existing grouping methods on the perspective of different network bandwidths. To change bandwidths, we experiment on the most widely used Ethernet equipment and InfiniBand which is high-performance network equipment. We can use the evaluation results as the selection criteria for choosing the appropriate Storm grouping method according to the network bandwidth.
|
| 키워드(Keyword) |
빅데이터
실시간 처리
Apache Storm
지역성
로드 밸런싱
인피니밴드
big data
real-time processing
apache storm
load balancing
InfiniBand
|
| 파일첨부 |
PDF 다운로드
|
