Kafka监控利器

开发过程中，kafka几乎是标配的Mq，如果有一个kafka的监控助手，哪就更完美了，常用的kafka监控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，经过测试，最后决定使用Kafka Manager。这篇文章主要介绍Kafka Manager安装及使用。

硬件环境：

Centos

kafka-manager-1.3.2.1 为了方便我已经分享到百度网盘，点击下载即可 https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A

kafka单机或者集群的运行实例

一、安装

1. 下载及解压

在Centos建个存放Kafka Manager 的文件夹，我的存放目录中在home下，执行如下命令新建文件夹

1

mkdir /home/kafka-manager

然后转到改目录，把点击下载kafka-manager，下载后把压缩包放到新建的目录下，执行解压命令

1

unzip kafka-manager-1.3.2.1.zip

可以根据具体环境修改配置文件 ./conf/application.conf，我的配置信息为

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0

# See accompanying LICENSE file.

# This is the main configuration file for the application.

# ~~~~~

# Secret key

# ~~~~~

# The secret key is used to secure cryptographics functions.

# If you deploy your application to several instances be sure to use the same key!

play.crypto.secret="^

play.crypto.secret=${?APPLICATION_SECRET}

# The application languages

# ~~~~~

play.i18n.langs=["en"]

play.http.requestHandler = "play.http.DefaultHttpRequestHandler"

play.http.context = "/"

play.application.loader=loader.KafkaManagerLoader

kafka-manager.zkhosts="localhost:2181"

kafka-manager.zkhosts=${?ZK_HOSTS}

pinned-dispatcher.type="PinnedDispatcher"

pinned-dispatcher.executor="thread-pool-executor"

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

akka {

loggers = ["akka.event.slf4j.Slf4jLogger"]

loglevel = "INFO"

}

basicAuthentication.enabled=false

basicAuthentication.username="admin"

basicAuthentication.password="password"

basicAuthentication.realm="Kafka-Manager"

kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

一般为默认即可，一切就绪就可以执行如下命令启动，

2. 启动

1

nohup ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 &

确认下是否启用，执行如下命令

1

netstat -an |grep 9111

结果显示，显示 9111 端口在监听状态，说明我们的服务已经启动。

在浏览器中查看，输入你的主机名或者ip+端口即可，显示如下，即说明kafka-manager成功安装

二、使用

添加kafka

点击Cluster，选择添加 Add Cluster 选择，根据kafka实例填写即可，主要配置ZK，其它信息，根据业务需要改动。

我的配置信息如下：

2. 查看信息

1)         集群信息

主要显示版本信息、Topics、Brokers，点击Topics数量或者Brokers数量即可进入相应的详情列表

2)         Brokers

主要显示Topic的操作及列表，及每个topic的主要信息，点击具体的topic，即可查看详情

3)         Topics

显示某个topic的具体信息，非常的详细

4)         Consumers

a)         首先我们启动一个消费者，集群中的任何一个实例即可，执行如下命令

1

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic **********

**********为消费的Topic。

b)         消费启动后，点击Consumers，显示如下

点击消费者，即可查看该消费者的详细信息

主要涉及Partition、Logsize、Consumer Offset

关于kafka-manager就介绍到这里，如果你有更好的监控工具，也拿出来一块分享吧

云监控服务

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。