Zabbix5.0监控Kafka
1.什么是Kafka
ApacheKafka是一个分布式流媒体平台它主要有3种功能：
1：发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因
2：以容错的方式记录消息流，kafka以文件的方式来存储消息流
3：可以再消息发布的时候进行处理
2.使用场景
1：在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能
2：构建实时的流数据处理程序来变换或处理数据流，数据处理功能
3.工作机制
3.1 整体架构
? Producer即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic，上图展示了两个producer发送了分类为topic1的消息，另外一个发送了topic2的消息。
? Topic即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息
Consumer即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。
? 从上图中就可以看出同一个Topic下的消费者和生产者的数量并不是对应的。
3.2 存储策略
? 谈到kafka的存储，就不得不提到分区，即partitions，创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中。
3.3 生产者交互策略
? 生产者在向kafka集群发送消息的时候，可以通过指定分区来发送到指定的分区中，也可以通过指定均衡策略来将消息发送到不同的分区中，如果不指定，就会采用默认的随机均衡策略，将消息随机的存储到不同的分区中。
3.4 消费者交互策略
? 在消费者消费消息时，kafka使用offset来记录当前消费的位置
在kafka的设计中，可以有多个不同的group来同时消费同一个topic下的消息，如图，我们有两个不同的group同时消费，他们的的消费的记录位置offset各不项目，不互相干扰。
对于一个group而言，消费者的数量不应该多余分区的数量，因为在一个group中，每个分区至多只能绑定到一个消费者上，即一个消费者可以消费多个分区，一个分区只能给一个消费者消费
因此，若一个group中的消费者数量大于分区数量的话，多余的消费者将不会收到任何消息。
4.监控指标
AllTopicsMessagesInPerSec #所有的topic的消息速率(消息数/秒)
AllTopicsBytesInPerSec #所有的topic的流入数据速率(字节/秒)
{Produce|Fetch-consumer|Fetch-follower}-RequestsPerSec #producer或Fetch-consumer或Fetch-follower的请求速率(请求次数/秒)
AllTopicsBytesOutPerSec #所有的topic的流出数据速率(字节/秒)
LogFlushRateAndTimeMs #刷日志的速率和耗时
UnderReplicatedPartitions #正在做复制的partition的数量(|ISR| < |all replicas|)
ActiveControllerCount #当前的broker是否为controller
LeaderElectionRateAndTimeMs #选举leader的速率
UncleanLeaderElectionsPerSec #Unclean的leader选举速率
PartitionCount #该broker上的partition的数量
LeaderCount #Leader的replica的数量
ISRShrinksPerSec #ISR的收缩(shrink)速率
ISRExpandsPerSec #ISR的扩大(expansion)速率
([-.\w]+)-MaxLag #follower落后leader replica的最大的消息数量
([-.\w]+)-ConsumerLag #每个follower replica落后的消息速率
PurgatorySize #等待producer purgatory的请求数
{Produce|Fetch-Consumer|Fetch-Follower}-TotalTimeMs #一个请求(producer,Fetch-Consumer,Fetch-Follower)耗费的所有时间
{Produce|Fetch-Consumer|Fetch-Follower}-QueueTimeMs #请求(producer,Fetch-Consumer,Fetch-Follower)在请求队列中的等待时间
“{Produce|Fetch-Consumer|Fetch-Follower}-RemoteTimeMs #请求(producer,Fetch-Consumer,Fetch-Follower)等待follower花费的时间
{Produce|Fetch-Consumer|Fetch-Follower}-ResponseSendTimeMs #发送响应花费的时间
5.如何监控
5.1 开启JMX
? 登陆kafka服务器，修改配置
? #vim bin/kafka-server-start.sh，添加JMX_PORT参数，由于bin/kafak-run-class.sh的JMX配置已经存在，只需要给一个JMX_PORT环境变量即可
5.2 重启kafka
Kafka关闭命令(备注：先进入kafka目录)
bin/kafka-server-stop.sh
Kafka启动命令(备注：先进入kafka目录)
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
5.3 zabbxi server配置
5.3.1 安装java-gataway
（在安装zabbix server时就可以指定安装）
yum install -y zabbix-java-gataway
5.3.2 修改zabbix-server配置文件
vim /usr/local/zabbix/etc/zabbix_server.conf
JavaGateway=127.0.0.1
JavaGatewayPort=10052
StartJavaPollers=3
5.4 添加主机和JMX代理
5.5 关联模板
5.5 验证监控数据
