IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 这就是你找的kafka-manager -> 正文阅读

[大数据]这就是你找的kafka-manager

????????Kafka作为分布式消息系统,以其轻量级、可扩展、高通吐等特点受到许多程序员青睐,我最近在项目中也用到了Kafka作为中间件进行数据交互。用几天了一直没时间对其进行监控和运行管理。今天抽空学习了一下,网上提供的方案主要是以下四种:

????????????????Kafka Web Console

????????????????KafkaOffsetMonitor

????????????????Kafka Manager

????????????????LogiKM(Logi-KafkaManager)

????????由于时间有限,以上四种方法我暂时试用了 kafka-manager 和 LogiKM两种,因为前者是大家都较为推荐的,后者在知乎上,csdn上看到好几次有人推荐,就做个尝试。

????????kafka-manager (现用名CMAK)由雅虎于2015年1月开始开源的kafka集群管理工具,据说由于误用了apache的商标,被迫改名的。 Github地址:yahoo/CMAK: CMAK is a tool for managing Apache Kafka clusters (github.com)

????????LogiKM 由滴滴出行于2020年5月开始部分开源的kafka集群管理工具,其开源版包含了大部分集群管理运维相关功能。Github地址:didi/LogiKM: 一站式Apache Kafka集群指标监控与运维管控平台 (github.com)

对比两者在github上的信息

????????CMAK应该是比较成熟的完整的运维监控工具,经过这么多年的积累,star数已经达到了10.3k,关注量还是比较大的,但是从2020年开始几乎没有代码提交,issues很多处于open状态较长时间,活跃度相对不高。个人试用体验还不错,一上来各功能都是跟着感觉操作就完事了,快速上手也不难。

????????LogiKM,虽然开源时间不长,但是star数也已经达到了2.9k,有一定的用户基础,活跃度相对较高,照这个趋势,即便现在开源功能不够完善一定也会越来越好,说不定渐渐成为主流也未可知。一上来感觉界面风格确实好看,功能也全,不过过程中有一点不是很喜欢,有很多感觉就像闭源的功能菜单,一看见都是想收费的就上头,所以整体上来说还不喜欢。

????????Kafka web console 有很多人说,该工具存在和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞的现象,生产环境下慎用。具体现在是否还存在暂且不论,看界面功能还挺全,后面会尝试研究。

????????KafkaOffsetMonitor 该工具是以jar包形式运行的项目,部署简单,使用方便,不过只有监控功能,如果只需要监控功能,推荐使用。

下面介绍一下CMAK和LogiKM的部署及试用体验。

CMAK

1,下载:只是使用的话直接下载编译好的二进制文件即可,使用源码自行编译的方法这里不做说明。

????????直接从github下载,地址:Release 3.0.0.5 · yahoo/CMAK (github.com);但是如果个人没有加速下载的方式,下载就太慢了,可以从下面的地址下载,速度还不错,推荐!地址:CMAK(kafka manager)安装包下载 | Wolfogre's Blog

2,解压到你的安装目录

????????unzip cmak-3.0.0.4.zip

????????无法使用unzip可以参考 linux解压zip文件,_babyLetsGo的博客-CSDN博客 解决

3,修改配置文件,conf目录中打开 application.conf文件,两个zkhosts改成自己的地址。

4,启动命令

????????切换到解压后目录,bin/cmak 即可启动。

5,java环境必须是jdk11,版本太低会报错如下:

????????java.lang.UnsupportedClassVersionError: controllers/routes has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0

解决方法:

????????下载安装openjdk11,可以直接从官方网站下载,操作稍显麻烦,且下载速度很慢,这里提供华为镜像服务提供站地址,从此出下载方便快捷。

华为开源镜像站下载地址:https://repo.huaweicloud.com/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz

6,指定java环境启动cmak

????????bin/cmak? -java-home /usr/local/jdk-11.0.2

测试没问题后后续可以使用后台启动方式。

????????nohup bin/cmak? -java-home /usr/local/jdk-11.0.2 &

7,默认访问端口是9000,启动成功后即可通过 IP:9000地址访问(小提示:云服务器需要安全组策略开放端口,否则访问会被拦截)。

开始使用要添加集群,然后就可以对集群进行管理了。

LogiKM

快速体验地址:http://117.51.150.133:8080 账号密码 admin/admin

1. 下载,直接从github下载就行,这个还好,不算太慢。

https://github.com/didi/LogiKM/releases/download/v2.4.2/kafka-manager-2.4.2.tar.gz

2. 解压。

tar -zxvf kafka-manager-2.4.2.tar.gz

3. Mysql初始化,切换到挤压后的目录,输入以下命令。

mysql -u root -p -h XXX.XXX.XXX.XXX -P XXXX < ./create_mysql_table.sql

说明:-h mysql服务主机ip,-P mysql服务端口。然后在输入密码就可以了

4. 修改配置

修改application.yml,主要修改mysql配置,默认访问端口为8080,如果使用中也可修改。

5. 启动

java -jar kafka-manager.jar --spring.config.location=./application.yml

测试没问题后后续可以使用后台启动方式。

nohup java -jar kafka-manager.jar --spring.config.location=./application.yml >/dev/null 2>&1 &

说明:>/dev/null 将标准输出重定向到无底洞,2>&1 将错误输出重定向到标准输出。

6. 访问http://服务IP:端口,输入帐号及密码(默认admin/admin)进行登录。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-16 11:48:52  更:2021-08-16 11:52:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 5:48:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码