'2015/10'에 해당되는 글 2

  1. 2015.10.13 Kafka Monitoring Tool - Burrow
  2. 2015.10.13 Kafka monitoring

Kafka Monitoring Tool - Burrow

https://github.com/linkedin/Burrow

위키 대로 따라 하기


Build and Install

1. GO 를 먼저 설치 해야 한다.

https://golang.org/doc/install 여기 Guide 대로 GO 설치

2. https://github.com/linkedin/Burrow/releases 에서 release 된 code 를 다운 로드 한다. (Burrow-0.1.0.tar.gz)

3. tar xzvf Burrow-xx.tar.gz > Burrow-0.1.0

4. GOPATH 설정

$ mkdir burrow-test

$ export GOPATH=/xxxx/burrow-text

$ cd $GOPATH/src/github.com/linkedin (디렉토리가 없다면, mkdir로 생성)

5. Burrow 디렉토리를 $GOPATH/src/github.com/linkedin/burrow 로 이동

$ cd $GOPATH/src/github.com/linkedin/burrow/

6. install

$ gmp install

$ go install

$ cd $GOPATH


Running Burrow

1. config 파일 만들기

$ mkdir $GOPATH/config

cp src/github.com/linkedin/burrow/config/burrow.cfg config/

cp src/github.com/linkedin/burrow/config/logging.cfg config/

2. burrow.cfg에서 zookeeper, broker 등을 적절히 수정. 필요하면 logging.cfg 수정

3. run

$GOPATH/bin/burrow --config path/to/burrow.cfg


Request to HTTP EndPoint

EndPoint list : https://github.com/linkedin/Burrow/wiki/HTTP-Endpoint

브라우저나 curl 등으로 조회.


1. Healthcheck

http://sembp:8000/burrow/admin

>>> GOOD


2. List Cluster

http://sembp:8000/v2/kafka

>>> {"error":false,"message":"cluster list returned","clusters":["seoeun-local"]}


3. Kafka Cluster Detail (위 리스트에서 나온 cluster 이름으로 조회)

http://sembp:8000/v2/kafka/seoeun-local

>>> {"error":false,"message":"cluster detail returned","cluster":{"zookeepers":["sembp:2181"],"zookeeper_port":2181,"zookeeper_path":"/kafka-cluster","brokers":["sembp:9092"],"broker_port":9092,"offsets_topic":"__consumer_offsets"}}


4. Cluster Topic Detail

http://sembp:8000/v2/kafka/seoeun-local/topic/employee

>>> {"error":false,"message":"broker topic offsets returned","offsets":[426822,35820,35820,1188253,35824,35827,419396,415688,801394,796091]}



burrow.cfg


신고

'개발' 카테고리의 다른 글

Kafka Monitoring Tool - Burrow  (0) 2015.10.13
Kafka monitoring  (0) 2015.10.13
Schema Registry  (0) 2015.08.14
Yarn scheduler 가 application을 실행하지 않을 때  (0) 2015.02.16
hive debug with cli  (0) 2014.11.08
파일 안 문자열 치환  (0) 2014.10.22
TRACKBACK 0 COMMENT 0

Kafka monitoring


1. kafka-manager

https://github.com/yahoo/kafka-manager

Yahoo에서 만들었는데, 설치해 보면 별 기능이 없다. 

일단 offset을 볼 수 없으니 답답하다. 


2. kafka-web-console

https://github.com/claudemamo/kafka-web-console

topic, offset, lag 를 UI 로 제공한다. 

그런데, git 에 보면 retired 한다고, kafka-manager 같은 거 고려해 보라고 한다. 왜? 이게 더 좋은데. 개발자가 더 이상 개발 안 한다니 할 수 없지만.


3. Burrow

https://github.com/linkedin/Burrow

Linkedin에서 GO 로 만들었다.

topic, offset, lag 제공.

현재는 HTTP EndPoint로 json 으로 데이터를 받을 수 있고, UI는 제공하지 않는다.

UI를 제공하지 않는 게 단점이지만, 반대로 생각하면 product 에 특수화된 monitoring metric과 함께 UI를 custom 하게 만들 수 있기 때문에 장점이 될 수 도 있다.

설치 방법은 git의 wiki를 참조하거나 http://seoeun25.tistory.com/550 참조.


4. KafkaOffsetMonitor

https://github.com/quantifind/KafkaOffsetMonitor

topic, offset, lag 를 UI로 제공


개인적으로는 kafka-web-console이 가장 맘에 들지만 더 개발 안한다니 뭔가 좀 찜찜하다.

그래서, Burrow나 KafkaOffsetMonitor를 사용할 예정인데, 쓰다 보면 뭔가 좀 더 필요한 게 있어서 마음이 바뀔 듯 하다.


 




신고

'개발' 카테고리의 다른 글

Kafka Monitoring Tool - Burrow  (0) 2015.10.13
Kafka monitoring  (0) 2015.10.13
Schema Registry  (0) 2015.08.14
Yarn scheduler 가 application을 실행하지 않을 때  (0) 2015.02.16
hive debug with cli  (0) 2014.11.08
파일 안 문자열 치환  (0) 2014.10.22
TRACKBACK 0 COMMENT 0