| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 这就是你找的kafka-manager -> 正文阅读 |
|
[大数据]这就是你找的kafka-manager |
????????Kafka作为分布式消息系统,以其轻量级、可扩展、高通吐等特点受到许多程序员青睐,我最近在项目中也用到了Kafka作为中间件进行数据交互。用几天了一直没时间对其进行监控和运行管理。今天抽空学习了一下,网上提供的方案主要是以下四种: ????????????????Kafka Web Console ????????????????KafkaOffsetMonitor ????????????????Kafka Manager ????????????????LogiKM(Logi-KafkaManager) ????????由于时间有限,以上四种方法我暂时试用了 kafka-manager 和 LogiKM两种,因为前者是大家都较为推荐的,后者在知乎上,csdn上看到好几次有人推荐,就做个尝试。 ????????kafka-manager (现用名CMAK)由雅虎于2015年1月开始开源的kafka集群管理工具,据说由于误用了apache的商标,被迫改名的。 Github地址:yahoo/CMAK: CMAK is a tool for managing Apache Kafka clusters (github.com)。 ????????LogiKM 由滴滴出行于2020年5月开始部分开源的kafka集群管理工具,其开源版包含了大部分集群管理运维相关功能。Github地址:didi/LogiKM: 一站式Apache Kafka集群指标监控与运维管控平台 (github.com) 。 对比两者在github上的信息 ????????CMAK应该是比较成熟的完整的运维监控工具,经过这么多年的积累,star数已经达到了10.3k,关注量还是比较大的,但是从2020年开始几乎没有代码提交,issues很多处于open状态较长时间,活跃度相对不高。个人试用体验还不错,一上来各功能都是跟着感觉操作就完事了,快速上手也不难。 ????????LogiKM,虽然开源时间不长,但是star数也已经达到了2.9k,有一定的用户基础,活跃度相对较高,照这个趋势,即便现在开源功能不够完善一定也会越来越好,说不定渐渐成为主流也未可知。一上来感觉界面风格确实好看,功能也全,不过过程中有一点不是很喜欢,有很多感觉就像闭源的功能菜单,一看见都是想收费的就上头,所以整体上来说还不喜欢。 ????????Kafka web console 有很多人说,该工具存在和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞的现象,生产环境下慎用。具体现在是否还存在暂且不论,看界面功能还挺全,后面会尝试研究。 ????????KafkaOffsetMonitor 该工具是以jar包形式运行的项目,部署简单,使用方便,不过只有监控功能,如果只需要监控功能,推荐使用。 下面介绍一下CMAK和LogiKM的部署及试用体验。 CMAK 1,下载:只是使用的话直接下载编译好的二进制文件即可,使用源码自行编译的方法这里不做说明。 ????????直接从github下载,地址:Release 3.0.0.5 · yahoo/CMAK (github.com);但是如果个人没有加速下载的方式,下载就太慢了,可以从下面的地址下载,速度还不错,推荐!地址:CMAK(kafka manager)安装包下载 | Wolfogre's Blog 2,解压到你的安装目录 ????????unzip cmak-3.0.0.4.zip ????????无法使用unzip可以参考 linux解压zip文件,_babyLetsGo的博客-CSDN博客 解决 3,修改配置文件,conf目录中打开 application.conf文件,两个zkhosts改成自己的地址。 4,启动命令 ????????切换到解压后目录,bin/cmak 即可启动。 5,java环境必须是jdk11,版本太低会报错如下: ????????java.lang.UnsupportedClassVersionError: controllers/routes has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0 解决方法: ????????下载安装openjdk11,可以直接从官方网站下载,操作稍显麻烦,且下载速度很慢,这里提供华为镜像服务提供站地址,从此出下载方便快捷。 华为开源镜像站下载地址:https://repo.huaweicloud.com/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz 6,指定java环境启动cmak ????????bin/cmak? -java-home /usr/local/jdk-11.0.2 测试没问题后后续可以使用后台启动方式。 ????????nohup bin/cmak? -java-home /usr/local/jdk-11.0.2 & 7,默认访问端口是9000,启动成功后即可通过 IP:9000地址访问(小提示:云服务器需要安全组策略开放端口,否则访问会被拦截)。 开始使用要添加集群,然后就可以对集群进行管理了。 LogiKM 快速体验地址:http://117.51.150.133:8080 账号密码 admin/admin 1. 下载,直接从github下载就行,这个还好,不算太慢。 https://github.com/didi/LogiKM/releases/download/v2.4.2/kafka-manager-2.4.2.tar.gz 2. 解压。 tar -zxvf kafka-manager-2.4.2.tar.gz 3. Mysql初始化,切换到挤压后的目录,输入以下命令。 mysql -u root -p -h XXX.XXX.XXX.XXX -P XXXX < ./create_mysql_table.sql 说明:-h mysql服务主机ip,-P mysql服务端口。然后在输入密码就可以了 4. 修改配置 修改application.yml,主要修改mysql配置,默认访问端口为8080,如果使用中也可修改。 5. 启动 java -jar kafka-manager.jar --spring.config.location=./application.yml 测试没问题后后续可以使用后台启动方式。 nohup java -jar kafka-manager.jar --spring.config.location=./application.yml >/dev/null 2>&1 & 说明:>/dev/null 将标准输出重定向到无底洞,2>&1 将错误输出重定向到标准输出。 6. 访问http://服务IP:端口,输入帐号及密码(默认admin/admin)进行登录。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/27 5:48:19- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |