에스퍼 기반 실시간 필터링 시스템 (Esper-based Real-time Filtering System)

본 논��에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며 수집하게 되면 크기 또한 거대해진다. 따라서, 이러한 대용량 데이터 스트림을 실시간 처리하기 위해서는 필터링 알고리즘을 사용하여 분석에 불필요한 데이터를 충분히 제거해야 한다. 그러나, 기존 필터링 알고리즘은 하나의 데이터 타입에 최적화 되어있기 때문에 각기 다른 데이터 타입에 대한 정확한 필터링이 어렵다. 본 논��에서는 이 같은 문제를 해결하기 위해 대표적인 데이터 스트림 처리 시스템(DSMS: data stream management system)인 에스퍼(Esper)에 여러 필터링 알고리즘을 적용한 에스퍼 기반 실시간 필터링 시스템을 클라이언트-서버 모델 기반으로 설계 및 구현한다. 먼저, 클라이언트는 필터링을 위한 사용자의 입력을 서버에게 전달하고, 서버로부터 전달받은 필터링 결과를 실시간 보여준다. 그리고, 서버는 클라이언트로부터 전달받은 사용자 입력에 따라 데이터 스트림을 실시간 필터링하고 그 결과를 클라이언트에게 실시간으로 반환한다. 실제 데이터 스트림을 활용한 실험 결과, 제안 시스템은 데이터 스트림을 정확하고 빠르게 필터링함을 확인하였다.
또한, 여러가지 필터링 알고리즘을 통합 지원하기 때문에, 다양한 타입의 스트림을 쉽게 필터링하고, 그 결과를 비교할 수 있다. 이 같은 결과로 보아, 제안하는 필터링 시스템은 입력 데이터 스트림 타입에 적합한 필터링 알고리즘을 선택적으로 지원함으로써, 보다 정확하고 효율적으로 데이터를 추출하는 우수한 시스템으로 사료된다.

In this paper, we address the filtering problem of data stream data. In general, stream data are continuously generated, and the volume are very large. Therefore, in order to process such a large-capacity data stream in real time, a filtering algorithm should be used to sufficiently remove unnecessary data for analysis. However, since existing filtering algorithms are optimized for a single data type, it is difficult to precisely filter different data types with only one filtering algorithm. To solve this problem, in this paper we propose an Esper-based real-time filtering system that applies various filtering algorithms to Esper, a typical data stream management system (DSMS). The proposed system is designed and implemented based on the client-server model. First, the client transmits the user’s input for filtering to the server and displays the filtering results received from the server in real time. The server filters the data stream in real-time according to the user input and returns the results to the client in real time. Experimental results on real data stream show that the proposed system filters data stream accurately and quickly. In addition, because it supports various filtering algorithms, we can easily filter various types of streams and compare the results.
As a result, the proposed filtering system is considered to be an excellent system for extracting data more accurately and efficiently by selectively supporting a filtering algorithm suitable for the type of input data streams.