Current Result Document : 7 / 188
| 한글제목(Korean Title) |
실시간 및 배치 빅데이터 분석과 분산 학습을 지원하는 Spark와 Kafka를 사용한 AIOps 기반 아키텍처 |
| 영문제목(English Title) |
AIOps-based Architecture with Spark and Kafka for Real-time and Batch Big Data Analysis and Distributed Learning |
| 저자(Author) |
안영민
김서현
허의남
Youngmin An
Seo-Hyun Kim
Eui-Nam Huh
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 1642 ~ 1644 (2022. 06) |
한글내용
(Korean Abstract) |
최근 IoT 기기들은 스마트 홈, 스마트 플랜트 등을 이루며 개체 수가 빠르게 증가하고 있고, 이러한 전세계 속에서의 IoT 기기들은 GPS, 가속도, 온도 센서와 접목하여 기하급수적으로 늘어나는 데이터를 발생시키고 있다. 다양한 데이터는 각양각색의 모습으로 가공되어 비즈니스에 새로운 시각을 불러일으키는 정보를 제공하는 역할을 한다. 따라서 실시간으로 변동하는 상황에 맞게 서비스를 제공하기 위해서 이른 바 빅데이터를 효율적으로 수집하여 저장하고 불러들여와 단시간 내에 유용한 정보를 도출해내어 서비스에 적용하는 능력이 중요하다. 이에 본 논문에서는 고가용성 및 고성능을 목표로 설계된 Kafka를 데이터 파이프라인으로 사용하고 HDFS 데이터 레이크에 데이터를 통합시켜, 실시간 및 배치 데이터 학습을 혼합한 하이브리드 분석 서비스를 제공하는 플랫폼을 제시한다. 빅데이터 분석이나 학습 등 데이터 처리 과정에서 분산 시스템 자원을 효율적으로 활용하기 위해 하둡, 스파크, 쿠버네티스를 결합한 운영 방안을 제시하며, 이러한 환경안에서 GraphQL, SPA, 메시지 큐 시스템 등 서비스 간의 결합을 느슨하게 해주는 기술들을 아키텍처에 적용하여 마이크로서비스 지향 AIOps 기반 아키텍처 설계와 확장 방안을 제시한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
