Kafka monitoring


1. kafka-manager

https://github.com/yahoo/kafka-manager

Yahoo에서 만들었는데, 설치해 보면 별 기능이 없다. 

일단 offset을 볼 수 없으니 답답하다. 


2. kafka-web-console

https://github.com/claudemamo/kafka-web-console

topic, offset, lag 를 UI 로 제공한다. 

그런데, git 에 보면 retired 한다고, kafka-manager 같은 거 고려해 보라고 한다. 왜? 이게 더 좋은데. 개발자가 더 이상 개발 안 한다니 할 수 없지만.


3. Burrow

https://github.com/linkedin/Burrow

Linkedin에서 GO 로 만들었다.

topic, offset, lag 제공.

현재는 HTTP EndPoint로 json 으로 데이터를 받을 수 있고, UI는 제공하지 않는다.

UI를 제공하지 않는 게 단점이지만, 반대로 생각하면 product 에 특수화된 monitoring metric과 함께 UI를 custom 하게 만들 수 있기 때문에 장점이 될 수 도 있다.

설치 방법은 git의 wiki를 참조하거나 http://seoeun25.tistory.com/550 참조.


4. KafkaOffsetMonitor

https://github.com/quantifind/KafkaOffsetMonitor

topic, offset, lag 를 UI로 제공


개인적으로는 kafka-web-console이 가장 맘에 들지만 더 개발 안한다니 뭔가 좀 찜찜하다.

그래서, Burrow나 KafkaOffsetMonitor를 사용할 예정인데, 쓰다 보면 뭔가 좀 더 필요한 게 있어서 마음이 바뀔 듯 하다.


 




신고

'개발' 카테고리의 다른 글

Kafka Monitoring Tool - Burrow  (0) 2015.10.13
Kafka monitoring  (0) 2015.10.13
Schema Registry  (0) 2015.08.14
Yarn scheduler 가 application을 실행하지 않을 때  (0) 2015.02.16
hive debug with cli  (0) 2014.11.08
파일 안 문자열 치환  (0) 2014.10.22
TRACKBACK 0 COMMENT 0