Chanho_Park

EFK 프로젝트를 만들려고 하는데 F의 Fluentd가 Log aggregator의 한 종류라고 합니다. 그에 따라 Log aggregator가 무엇인지 궁금하여 이 글을 적게 되었습니다. Log Aggregator 란? 여러 머신에서 쌓인 로그들을 한 번에 부석할 수 있도록 수집하여 주는 시스템 요새는 클라우드가 유행하여 같은 일을 하는 시스템에도 다른 머신에서 돌아가는 일이 많아지면서 필요성이 크게 증가하였다고 합니다. 비교하는 사이트 Log Aggregator 비교 - Scribe, Flume, Fluentd, logstash Compare Log aggregator - scribe, flume, fluentd blog.seulgi.kim

ㅁ Fluentd란? Fluentd란 오픈소스 데이터(로그) 수집기이다. 보통 로그를 수집하는데 사용하지만, 다양한 데이터 소스(HTTP, TCP)로부터 데이터를 받아올 수 있다. Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 다양한 목적지(ElasticSearch, S3 등)로 전달될 수 있으며 Fail-Over를 위한 HA(High Availability) 구성도 가능하다. HA 구성을 뺀 더 적은 메모리를 사용하는 경량버전인 Fluent-Bit와 함께 사용할 수 있다. ㅁ Elasticsearch란? Elasticsearch는 아파치 루씬 기반의 확장성이 좋은 JAVA 오픈소스 분산 검색엔진이다. 많은 양의 데이터를 ..

요즘은 좋은 분이 계셔서 멘토링과 입사지원을 하고 있는 중입니다. 공부도 더욱 더 하면서 배워가는게 재밌고 이론을 잘 알아야 그것을 잘 쓰고 이해한다는 생각에 더 깊이 공부해보고 EFK 서비스도 만들어 보고자 합니다. Fluentd 란? 서버로 들어오는 요청이나 모든 DB에서 실행되는 SQL, 각종 배치 스크립트가 실행되면서 남기는 로그들은 최소한의 형태로만 남기고 다 버려지고 있었습니다. 서비스에 문제가 생기거나 디버깅 목적으로 그 남겨진 로그들을 찾아볼 때는 모든 서버를 찾아보며 Find & Grep 해야하는 번거로움이 있습니다. ( Find & Grep 을 하면 너무나도 많은 결과가 나와 찾기도 힘듬) find : 하위 폴더에 존재하는 파일을 찾아주는 명령어 grep : 하위 폴더를 포함하여 존재하..