[EFK] Elasticsearch , Fluentd, Kibana 란?

 

ㅁ Fluentd란?

 

 

 

  Fluentd란 오픈소스 데이터(로그) 수집기이다. 보통 로그를 수집하는데 사용하지만, 다양한 데이터 소스(HTTP, TCP)로부터 데이터를 받아올 수 있다. Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 다양한 목적지(ElasticSearch, S3 등)로 전달될 수 있으며 Fail-Over를 위한 HA(High Availability) 구성도 가능하다. HA 구성을 뺀 더 적은 메모리를 사용하는 경량버전인 Fluent-Bit와 함께 사용할 수 있다. 

 

 

 

 

ㅁ Elasticsearch란?

 

 

 

  Elasticsearch는 아파치 루씬 기반의 확장성이 좋은 JAVA 오픈소스 분산 검색엔진이다. 많은 양의 데이터를 보관하고 실시간으로 저장, 검색, 분석할 수 있게 해준다.

# Elasticsearch의 특징

1) 테이블과 스키마 대신에 문서 형식(JSON)으로 저장
2) 쿼리 속도가 매우 빠르며 확장성이 뛰어남
3) 에러에 대한 높은 탄성을 가지며 데이터 타입에 유연함
4) 빅데이터를 처리할 때 매우 유리함

 

 

ㅁ Kibana란?

 

 Kibana는 Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 오픈소스 도구이다. Elasticsearch의 데이터(로그)를 차트와 그래프 등을 활용하여 대쉬보드 형태로 시각화 할 수 있다.