Search results

'0x03 Open '에 해당하는 글들

  1. 2013.07.15  Zoie - Real-time search and indexing system
  2. 2013.07.15  What is Apache-Flume NG
  3. 2011.12.16  #1. Arduino란?
  4. 2010.05.11  What Is This ? - Hadoop

IndexTank, Apache Lucene, LinkedIn.com

§Zoie is a real-time search and indexing system built on Apache Lucene
§Donated by LinkedIn.com on July 19, 2008, and has been deployed in a real-time large-scale consumer website: LinkedIn.com handling millions of searches as well as millions of updates daily.
§Current Version 3.2.0

NRT, Lucene, Transparent Indexing

§No modifications to core lucene
§Multiple read/write: RAMDir + FSDir
§IndexReader on (small) RAMDir opened per request: instantly realtime
§IndexReaderDecorator for custom Reader
§Transparent Indexing: implement StreamDataProvider then inject








'0x03 Open  > 0x034 Etc' 카테고리의 다른 글

Zoie - Real-time search and indexing system  (0) 2013.07.15

Apache Flume은 다양한 Source에서 발생된 많은 양의 로그 데이터를 중앙의 데이터 저장소로 효율적으로 수집해 주는 분산처리, 신뢰성, 가용성을 갖춘 시스템이다.


Apache Flume은 Apache Software Foundation의 Top Level 프로젝트로, 현재 version 0.9.x와 1.x 두 종류의 codeline이 이용 가능하다.

 0.9.x를 OG(Old Generation)라고 부르며, 1.x는 OG의 리팩토링 프로젝트로 NG(Next Generation)라고 부른다..


Agent component diagram


Apache Flume 블로그

- http://blogs.apache.org/flume/

Apache Flume 공식 홈페이지

- http://flume.apache.org/

개인 블로그

- http://dev.heartsavior.net/328

- http://hys9958.tistory.com/entry/flumeng-%EC%9E%A0%EA%B9%90-%EB%A7%9B%EB%B3%B4%EA%B8%B0

- http://onjava.tistory.com/194

- http://mapredit.blogspot.kr/2012/07/run-flume-13x-on-windows.html

- http://gigsda.wordpress.com/2013/04/07/flume-1-3-0-user-guide-%EB%B0%9C%EB%B2%88%EC%97%AD/

GitHub(Custom Source, Sink)

- https://github.com/kiora1120/flume-ng-extension


Test Lab Configuration

Lot Flume Agent                                          ------->            Consolidation Server

Source->Source        -Interceptor -      Channel      - Sink     Source     -       Channel         -    Sink

DirTailSource  Host               Memory         Avro     Avro               Memory               HDFS


Apache Flume Compontnts

Interface  Source 

- EventDrivenSource : Worker Thread 내에서 Evnet를 바로 Channel.process()로 처리

- PollableSource : Worker Thread 내에서 Evnet를 add=offer 하여 this.process()내에서 custom 하여 Channel에서 처리토록 가능


interface Configurable

- configure()함수 내 context 객체를 활용하여 configuration 가능케 함.



그외 대표적인 LogCollector 


* Flunetd

- http://blog.treasure-data.com/post/13047440992/fluentd-the-missing-log-collector-software

- http://before30.tistory.com/179


* Graylog2

http://www.graylog2.org/about

https://github.com/Graylog2


* Scribe



'0x03 Open  > 0x031 Apache Foundation' 카테고리의 다른 글

What is Apache-Flume NG  (0) 2013.07.15
What Is This ? - Hadoop  (0) 2010.05.11
─ tag  apache flume, flume
아두이노(Arduino)는 오픈소스를 기반으로 한 피지컬 컴퓨팅 플랫폼으로, AVR을 기반으로 한 보드와 소프트웨어 개발을 위한 통합 환경(IDE)를 제공한다. 아두이노는 많은 스위치나 센서로부터 값을 받아들여, LED나 모터와 같은 것들을 통제함으로서 환경과 상호작용이 가능한 물건을 만들어낼 수 있다. 또한 Flash, Processing, Max/MSP와 같은 소프트웨어를 연동할 수 있다.
아두이노의 가장 큰 장점은 마이크로컨트롤러를 쉽게 동작시킬 수 있다는 것이다. 일반적으로 AVR 프로그래밍이 WinAVR로 컴파일하여, ISP장치를 통해 업로드를 해야하는 등 번거로운 과정을 거쳐야하는데 비해, 아두이노는 USB를 통해 컴파일 및 업로드를 쉽게 할 수 있다. 또한 아두이노는 다른 모듈에 비해 비교적 저렴하고, Windows를 비롯해 Mac OSX, 리눅스와 같은 여러 OS를 모두 지원한다. 아두이노 보드의 회로도가 CCL에 따라 공개되어 있으므로, 누구나 직접 보드를 직접 만들고 수정할 수 있다.
-Wiki- 

한국 Wiki  에서는 이렇게 짤막한 설명만 있다. 더 많은 정보는 역시 English Wiki로 보는게

http://en.wikipedia.org/wiki/Arduino 
 

 

'0x03 Open  > 0x033 Arduino' 카테고리의 다른 글

#1. Arduino란?  (0) 2011.12.16
─ tag  Arduino, 아두이노

http://hadoop.apache.org

를 방문하게 되면 나를 반기는


코끼리가 있다. 코끼리를 왜 쓰게 되었을까 라는 의문으로 찾은 기사는

http://www.nytimes.com/2009/03/17/technology/business-computing/17cloud.html?pagewanted=1&_r=1

로 해석본은

http://ggoogi.goanygate.com/ko/forum/hadoop-free-software-program-finds-uses-beyond-search


Hadoop에 대해서 알아보기로 마음먹었으니 어디 한번 알아보도록 할까요?!

bigtable-osdi06.pdf



이건 구글이 쓴 Hadoop 관련된 논문 ㅎㅎㅎ

mapreduce-osdi04.pdf


이것도 구글이 작성한 MapReduce 관련 논문 ㅎㅎㅎ



* Hadoop의 이해(삼성소프트웨어 멤버쉽)
1. BIGDATA와 HDFS
2. Map-Reduce에 대한 소개 및 이해
3. 실제 프로젝트와 함게 적용해보는 Map-Reduce (X)
4. Hadoop의 Eco System 및 정리 (X)
- http://blog.secmem.org/m/post/view/id/224

* MapReduce 프로그래밍의 개념과 베스트 프랙티스
- http://blog.naver.com/PostView.nhn?blogId=janggyuho&logNo=80189269710&redirect=Dlog&widgetTypeCall=true

* 간단한 ETL모듈 구현
1. 아파치 하둡 맵리듀스 기반 애플리케이션 구현하기 Part 1
- https://www.ibm.com/developerworks/community/blogs/9e635b49-09e9-4c23-8999-a4d461aeace2/entry/274?lang=en
2. 아파치 하둡 맵리듀스 기반 애플리케이션 구현하기 Part 2 
- https://www.ibm.com/developerworks/community/blogs/9e635b49-09e9-4c23-8999-a4d461aeace2/entry/290?lang=en

* Hadoop - MapReduce를 사용한 Inverted Index 만들어보기.
- http://coolkim.tistory.com/356

* 하둡에서 Input 과정을 자세하게
 1. 하둡에서 InputSplit과 HDFS블록사이의 관계
- http://xlos.tistory.com/1530
 2. 하둡의 InputSplit
- http://xlos.tistory.com/1521


'0x03 Open  > 0x031 Apache Foundation' 카테고리의 다른 글

What is Apache-Flume NG  (0) 2013.07.15
What Is This ? - Hadoop  (0) 2010.05.11
openclose