[大数据]Kafka Eagle 2.0.6 安装

Kafka Eagle 2.0.6 安装

1、简单介绍

? 在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我 们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提供的命令工具， 已预感到力不从心，这时候 Kafka 的监控系统此刻便尤为显得重要，我们需要观察消费应用的详情。 监控系统业界有很多杰出的开源监控系统。我们在早期，有使用 KafkaMonitor 和 Kafka Manager 等，不过随着业务的快速发展，以及互联网公司特有的一些需求，现有的开源的监控系 统在性能、扩展性、和 DEVS 的使用效率方面，已经无法满足了。 因此，我们在过去的时间里， 从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些开源的 Kafka 消息监控，用监控的一些思考出发，设计开发了现在 Kafka 集群消息监控系统：Kafka Eagle。

• 官网地址
• • 源码： https://github.com/smartloli/kafka-eagle/
  • 官网：https://www.kafka-eagle.org/
  • 下载： http://download.kafka-eagle.org/
  • 安装文档： https://docs.kafka-eagle.org/2.env-and-install

2、软件安装

• 基于zookeeper集群
• 基于kafka集群

2.1、上传解压移动删除

[root@node01 ~]# tar -zxvf kafka-eagle-bin-2.0.6.tar.gz
[root@node01 ~]# cd kafka-eagle-bin-2.0.6
[root@node01 kafka-eagle-bin-2.0.6]# tar -zxvf kafka-eagle-web-2.0.6-bin.tar.gz
[root@node01 kafka-eagle-bin-2.0.6]# mv kafka-eagle-web-2.0.6 /opt/yjx/
[root@node01 kafka-eagle-bin-2.0.6]# cd
[root@node01 ~]# rm -rf ~/kafka*
[root@node01 ~]# cd /opt/yjx/kafka-eagle-web-2.0.6/

2.2、修改配置文件

[root@node01 kafka-eagle-web-2.0.6]# vim conf/system-config.properties

## 可以配置多个集群，但是我们只有一个所以删除cluster2
[4] kafka.eagle.zk.cluster.alias=cluster1
[5] cluster1.zk.list=node01:2181,node02:2181,node03:2181
## 配置一个不冲突的端口即可
[28] kafka.eagle.webui.port=18048
## 删除cluster2的信息，然后将cluster1的存储设置为kafka
[43] cluster1.kafka.eagle.offset.storage=kafka
## 将sqllite的配置全部注释
[103] # kafka sqlite jdbc driver address
## 配置Mysql数据库信息
[111] # kafka mysql jdbc driver address
[113] kafka.eagle.driver=com.mysql.jdbc.Driver
[114] kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull
[115] kafka.eagle.username=root
[116] kafka.eagle.password=123456

2.3、配置Kafka的Jmx

• 修改Kafka启动脚本

• [root@node01 ~]# vim /opt/yjx/kafka_2.12-0.11.0.3/bin/kafka-server-start.sh
  

  • 添加JMX的端口
    [29] export JMX_PORT="19092"
    

• 拷贝到其他节点

  • [root@node01 ~]# scp /opt/yjx/kafka_2.12-0.11.0.3/bin/kafka-server-start.sh root@node02:/opt/yjx/kafka_2.12-0.11.0.3/bin/
    [root@node01 ~]# scp /opt/yjx/kafka_2.12-0.11.0.3/bin/kafka-server-start.sh root@node03:/opt/yjx/kafka_2.12-0.11.0.3/bin/
    

2.4、配置环境变量

[root@node01 ~]# vim /etc/profile

export KE_HOME=/opt/yjx/kafka-eagle-web-2.0.6
export PATH=$KE_HOME/bin:$PATH

[root@node01 ~]# source /etc/profile

2.5、启动集群

• 首先启动zookeeper zkServer.sh start
• 三个节点重启Kafka kafka-server-start.sh /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties
• 然后启动eagle ke.sh start

2.6、访问

• http://192.168.88.101:18048
• 用户名【admin】密码【123456】

2.7、关机拍照

• 关闭kafka Eagle ke.sh stop
• 关闭kafka Ctrl+C
• 关闭zookeeper zkServer.sh stop
• 关机拍照