데이터베이스 연구회지(SIGDB)
Current Result Document :
| 한글제목(Korean Title) |
대규모 해양관측 데이터에서 AutoEncoder를 활용한 과거 데이터의 빠른 검색 |
| 영문제목(English Title) |
Fast Retrieval of Past Similar data using An AutoEncoder in Large Oceanographic Observation Data |
| 저자(Author) |
정원준
권오흠
송하주
Won-Joon Jeong
Oh-Heum Kwon
Ha-Joo Song
|
| 원문수록처(Citation) |
VOL 38 NO. 03 PP. 0096 ~ 0106 (2022. 12) |
한글내용
(Korean Abstract) |
해양관측 데이터는 과거 수십 년간의 데이터를 보관하기 때문에 그 크기는 수십 기가바이트 이상에 이르는 경우가 흔하다. 따라서 일정 시점의 관측 데이터와 유사한 과거 관측자료를 찾기 위해서 데이터를 하나씩 비교하여 검색하는 것은 수 십분 이상의 시간이 소요된다. 본 논문은 딥러닝 알고리즘 중 하나인 오토인코더를 이용한 차원축소 기법을 사용해 검색 소요시간을 단축시킬 수 있는 기법을 제시한다. 제안기법은 각각의 관측 데이터에 대해 원 데이터를 압축한 뒤 오토인코더를 이용하여 특징 벡터를 추출하고 특징 벡터 집합을 구축한다. 검색시에는 검색 기준 데이터에 대한 특징 벡터와 저장된 특징 벡터 집합 간의 유사도 비교를 통해 후보군을 추출한다. 그리고 후보군과 기준 데이터를 원 데이터 수준에서 비교하여 가장 유사한 것을 찾는다. netCDF 포맷으로 저장된 위성 관측 데이터를 사용하여 실험을 수행하였다. 제안 기법은 추가적인 저장공간을 적게 차지하면서도 검색속도 측면에선 약 4 배 정도의 성능 향상을 달성하였다. |
영문내용
(English Abstract) |
Oceanographic observation data often reaches more than tens of gigabytes in size because it holds data from the past decades. Therefore, it takes several tens of minutes or more to compare and search data one by one to find historical observations similar to observation data at a certain point in time. This paper presents a technique that can shorten the search time by using a dimension reduction technique using an autoencoder, one of the deep learning algorithms. The proposed technique compresses the original data for each observation data and then uses an autoencoder to extract feature vectors and construct an array of feature vectors. At the time of search, a candidate group is extracted by comparing the similarity between the feature vector of the search data and the stored feature vector array. The candidate group and the search data are compared at the original scale to find the most similar one. We conducted performance tests using satellite observation data stored in netCDF format. The proposed method showed performance improvement of around four times in terms of search speed while occupying less additional storage space.
|
| 키워드(Keyword) |
netCDF
오토인코더
유사도 검색
AutoEncoder
Similarity Search
|
| 파일첨부 |
PDF 다운로드
|
