Kinesis란? 실시간 데이터 처리 서비스 정리

# Kinesis

 

Kinesis는 실시간 빅데이터 스트리밍 서비스이다. 관리형 서비스로, 대규모로 실시간 스트리밍 데이터를 수집/처리/분석하는데 사용할 수 있다. 

 

 

 

Kinesis는 네 가지 주요 구성 요소로 이루어져 있다:

 

 

 

1. Kinesis Data Stream

: 수백에서 수천 개의 소스(예: 트럭, 선박, IoT 기기 등)에서 발생하는 대규모 데이터를 매우 짧은 지연 시간으로 실시간 수집할 수 있는 서비스이다. 수집된 데이터는 분석 또는 후속 처리에 사용될 수 있다.

 

 

2. Kinesis Data Firehose

: 스트리밍 데이터를 자동으로 S3, Redshift, Elasticsearch 등으로 전송해주는 서비스이다. 별도의 데이터 버퍼링 없이도 실시간으로 데이터를 저장소에 저장할 수 있어 간편하다.

 

 

3. Kinesis Data Analytics

: SQL 언어를 사용하여 스트리밍에 대한 실시간 분석을 수행한다. 예를 들어 Data Stream으로 스트리밍 되는 데이터를 Analytics로 분석하고, 그 결과를 Firehose를 통해 S3 등의 스토리지로 옮길 수 있다. 

 

 

4. Kinesis Video Streams

: 실시간 영상 데이터를 수집하고 분석할 수 있도록 도와주는 서비스로, 영상 기반의 모니터링이나 머신러닝 분석 등에 활용된다.

 

 

 

Amazon Kinesis는 이처럼 다양한 형태의 스트리밍 데이터를 실시간으로 처리하는 데 최적화된 서비스이다. 빅데이터 기반의 분석, 모니터링, 저장이 필요한 경우 강력한 도구가 될 수 있다.