What is Apache-Flume NG

Apache Flume은 다양한 Source에서 발생된 많은 양의 로그 데이터를 중앙의 데이터 저장소로 효율적으로 수집해 주는 분산처리, 신뢰성, 가용성을 갖춘 시스템이다.

Apache Flume은 Apache Software Foundation의 Top Level 프로젝트로, 현재 version 0.9.x와 1.x 두 종류의 codeline이 이용 가능하다.

 0.9.x를 OG(Old Generation)라고 부르며, 1.x는 OG의 리팩토링 프로젝트로 NG(Next Generation)라고 부른다..

Apache Flume 블로그

- http://blogs.apache.org/flume/

Apache Flume 공식 홈페이지

- http://flume.apache.org/

개인 블로그

- http://dev.heartsavior.net/328

- http://hys9958.tistory.com/entry/flumeng-%EC%9E%A0%EA%B9%90-%EB%A7%9B%EB%B3%B4%EA%B8%B0

- http://onjava.tistory.com/194

- http://mapredit.blogspot.kr/2012/07/run-flume-13x-on-windows.html

- http://gigsda.wordpress.com/2013/04/07/flume-1-3-0-user-guide-%EB%B0%9C%EB%B2%88%EC%97%AD/

GitHub(Custom Source, Sink)

- https://github.com/kiora1120/flume-ng-extension

Test Lab Configuration

Lot Flume Agent                                          ------->            Consolidation Server

Source->Source        -Interceptor -      Channel      - Sink     Source     -       Channel         -    Sink

DirTailSource  Host               Memory         Avro     Avro               Memory               HDFS

Apache Flume Compontnts

Interface  Source 

- EventDrivenSource : Worker Thread 내에서 Evnet를 바로 Channel.process()로 처리

- PollableSource : Worker Thread 내에서 Evnet를 add=offer 하여 this.process()내에서 custom 하여 Channel에서 처리토록 가능

interface Configurable

- configure()함수 내 context 객체를 활용하여 configuration 가능케 함.

---

그외 대표적인 LogCollector 

* Flunetd

- http://blog.treasure-data.com/post/13047440992/fluentd-the-missing-log-collector-software

- http://before30.tistory.com/179

* Graylog2

http://www.graylog2.org/about

https://github.com/Graylog2

* Scribe