데이터베이스 연구회지(SIGDB)
Current Result Document : 39 / 39
| 한글제목(Korean Title) |
식품 빅데이터 분석을 위한 데이터 허브의 설계 |
| 영문제목(English Title) |
Design of a Data Hub for Analysis of Food Big Data |
| 저자(Author) |
김종민
권오흠
송하주
Jongmin Kim
Oh-Heum Kwon
Ha-Joo Song
|
| 원문수록처(Citation) |
VOL 36 NO. 03 PP. 0153 ~ 0163 (2020. 12) |
한글내용
(Korean Abstract) |
본 논문에서는 식품 빅데이터의 분석을 위한 데이터 저장시스템을 제안한다. 기존의 식품관련 분석시스템에 서는 관계형데이터베이스 기반의 데이터웨어하우스를 사용하였고 정형화된 데이터에 기반한 식품 추천을 목적 으로 하였다. 따라서 미리 정의된 스키마만을 사용해서 분석해야 하는 한계가 있고, 데이터 소스에서 웨어하우 스로 데이터를 추출하는 과정에서 데이터의 소실이 빈번하게 발생한다. 제안하는 시스템은 데이터레이크 형식 으로 다양한 데이터 소스를 연계하고 원데이터를 그대로 유지하여 유연한 데이터 처리가 가능하도록 하였다. 아울러 관계데이터베이스 또는 NoSQL 데이터베이스 데이터를 적재하여 사용할 수 있도록 하였다. 파일 데이 터는 Elasticsearch를 사용하여 원데이터의 인입(Ingestion)과 검색이 단순하게 이루어지도록 하였다. 원데 이터 파일은 HDFS에 저장하여 대규모 데이터 분석이 가능하도록 하였다. 사용자 측면에서는 Jupyter 노트북 과 Google Colab을 통해 공유된 데이터를 웹브라우저를 통해 간편하게 접근하여 분석할 수 있도록 하였다. |
영문내용
(English Abstract) |
In this paper, we propose a data storage system for analysis of sea food big data. Existing food analysis stems are based on data warehouses that are constructed on relational databases. Therefore data analysis should be performed on the predefined database schema and data losses can happen while extracting data from the source to the data warehouse. The proposed system connects various data sources with different types and provides flexible processing of the data which is stored in its original form as it is done in data lakes. Users can store data in relational databases, non-SQL databases, and files with their selection. Files are ingested by Elasticsearch so that they can be efficiently retrieved later even though they are stored in its raw format. The data files are stored in HDFS to support massive data analysis. Users can easily access and analyze the data using a web browser via Jupiter notebook or Google’s Colab interface. |
| 키워드(Keyword) |
개인맞춤
식품추천
데이터레이크
스키마
데이터허브
Personalization
Food Recommendation
Data Lake
Schema
Data Hub
|
| 파일첨부 |
PDF 다운로드
|
