Search results

'0x03 Open /0x031 Apache Foundation'에 해당하는 글들

  1. 2013.07.15  What is Apache-Flume NG
  2. 2010.05.11  What Is This ? - Hadoop

Apache Flume은 다양한 Source에서 발생된 많은 양의 로그 데이터를 중앙의 데이터 저장소로 효율적으로 수집해 주는 분산처리, 신뢰성, 가용성을 갖춘 시스템이다.


Apache Flume은 Apache Software Foundation의 Top Level 프로젝트로, 현재 version 0.9.x와 1.x 두 종류의 codeline이 이용 가능하다.

 0.9.x를 OG(Old Generation)라고 부르며, 1.x는 OG의 리팩토링 프로젝트로 NG(Next Generation)라고 부른다..


Agent component diagram


Apache Flume 블로그

- http://blogs.apache.org/flume/

Apache Flume 공식 홈페이지

- http://flume.apache.org/

개인 블로그

- http://dev.heartsavior.net/328

- http://hys9958.tistory.com/entry/flumeng-%EC%9E%A0%EA%B9%90-%EB%A7%9B%EB%B3%B4%EA%B8%B0

- http://onjava.tistory.com/194

- http://mapredit.blogspot.kr/2012/07/run-flume-13x-on-windows.html

- http://gigsda.wordpress.com/2013/04/07/flume-1-3-0-user-guide-%EB%B0%9C%EB%B2%88%EC%97%AD/

GitHub(Custom Source, Sink)

- https://github.com/kiora1120/flume-ng-extension


Test Lab Configuration

Lot Flume Agent                                          ------->            Consolidation Server

Source->Source        -Interceptor -      Channel      - Sink     Source     -       Channel         -    Sink

DirTailSource  Host               Memory         Avro     Avro               Memory               HDFS


Apache Flume Compontnts

Interface  Source 

- EventDrivenSource : Worker Thread 내에서 Evnet를 바로 Channel.process()로 처리

- PollableSource : Worker Thread 내에서 Evnet를 add=offer 하여 this.process()내에서 custom 하여 Channel에서 처리토록 가능


interface Configurable

- configure()함수 내 context 객체를 활용하여 configuration 가능케 함.



그외 대표적인 LogCollector 


* Flunetd

- http://blog.treasure-data.com/post/13047440992/fluentd-the-missing-log-collector-software

- http://before30.tistory.com/179


* Graylog2

http://www.graylog2.org/about

https://github.com/Graylog2


* Scribe



'0x03 Open  > 0x031 Apache Foundation' 카테고리의 다른 글

What is Apache-Flume NG  (0) 2013.07.15
What Is This ? - Hadoop  (0) 2010.05.11
─ tag  apache flume, flume

http://hadoop.apache.org

를 방문하게 되면 나를 반기는


코끼리가 있다. 코끼리를 왜 쓰게 되었을까 라는 의문으로 찾은 기사는

http://www.nytimes.com/2009/03/17/technology/business-computing/17cloud.html?pagewanted=1&_r=1

로 해석본은

http://ggoogi.goanygate.com/ko/forum/hadoop-free-software-program-finds-uses-beyond-search


Hadoop에 대해서 알아보기로 마음먹었으니 어디 한번 알아보도록 할까요?!

bigtable-osdi06.pdf



이건 구글이 쓴 Hadoop 관련된 논문 ㅎㅎㅎ

mapreduce-osdi04.pdf


이것도 구글이 작성한 MapReduce 관련 논문 ㅎㅎㅎ



* Hadoop의 이해(삼성소프트웨어 멤버쉽)
1. BIGDATA와 HDFS
2. Map-Reduce에 대한 소개 및 이해
3. 실제 프로젝트와 함게 적용해보는 Map-Reduce (X)
4. Hadoop의 Eco System 및 정리 (X)
- http://blog.secmem.org/m/post/view/id/224

* MapReduce 프로그래밍의 개념과 베스트 프랙티스
- http://blog.naver.com/PostView.nhn?blogId=janggyuho&logNo=80189269710&redirect=Dlog&widgetTypeCall=true

* 간단한 ETL모듈 구현
1. 아파치 하둡 맵리듀스 기반 애플리케이션 구현하기 Part 1
- https://www.ibm.com/developerworks/community/blogs/9e635b49-09e9-4c23-8999-a4d461aeace2/entry/274?lang=en
2. 아파치 하둡 맵리듀스 기반 애플리케이션 구현하기 Part 2 
- https://www.ibm.com/developerworks/community/blogs/9e635b49-09e9-4c23-8999-a4d461aeace2/entry/290?lang=en

* Hadoop - MapReduce를 사용한 Inverted Index 만들어보기.
- http://coolkim.tistory.com/356

* 하둡에서 Input 과정을 자세하게
 1. 하둡에서 InputSplit과 HDFS블록사이의 관계
- http://xlos.tistory.com/1530
 2. 하둡의 InputSplit
- http://xlos.tistory.com/1521


'0x03 Open  > 0x031 Apache Foundation' 카테고리의 다른 글

What is Apache-Flume NG  (0) 2013.07.15
What Is This ? - Hadoop  (0) 2010.05.11
openclose