IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Kafka 管理和监控 UI 工具 -> 正文阅读

[大数据]Kafka 管理和监控 UI 工具

本身带有命令行工具,可以执行所有必要的管理任务。但是,这些工具不是很方便,因为它们没有集成到一个工具中,您需要为不同的任务运行不同的工具。此外,当您的集群变大或有多个集群时,使用它们会变得越来越困难。所以接下来介绍一些 GUI 替代方案。对技术感兴趣朋友可以加这个扣扣2779571288交流。

卡夫卡工具:

第一个是Kafka 工具。它是一个 Windows 程序,可以连接到 Kafka 集群并执行所有基本任务。它可以列出代理、主题或消费者及其属性。它允许您创建新主题或更新现有主题,您甚至可以查看主题或分区中的消息。虽然非常好用,但它的 UI 显得有些陈旧,并且缺少一些监控功能,例如主题滞后。此外,它不可免费用于商业用途。因此,除非您付费,否则您无法真正在工作中使用它。(从技术上讲,您可以,但这会违反许可条款并使您和您的雇主处于危险之中。)
卡夫卡工具

卡夫卡管理器:

Kafka Manager是雅虎开发的基于 Web 的 Kafka 管理系统。它能够管理多个集群;它可以显示单个代理或主题的统计信息,例如每秒消息数、延迟等。但是,它更像是一种管理工具。不幸的是,您不能使用它来浏览消息。它还需要访问 ZooKeeper 节点,因此您可能无法在某些生产环境中使用它,其中 ZooKeeper 节点通常有防火墙。对技术感兴趣朋友可以加这个扣扣2779571288交流。

以下是安装它的步骤

首先,从上面的链接下载 zip 分发包并解压。编辑application.conf并更改kafka-manager.zkhosts为一台或多台 ZooKeeper 主机,例如kafka-manager.zkhosts=“cloudera2:2181”。现在你应该构建 Kafka Manager。它使用 play 框架,但它是自动安装和配置的(与稍后讨论的 Kafka Web 控制台不同)。在解压的目录下,运行:
1627956652(1)
这可能需要很长时间才能完成(第一次构建大约需要 30 分钟,因为它必须下载一堆依赖项)。

这将创建一个分发文件 ./target/universal/kafka-manager-x.x.x.x.zip

将其解压缩到您选择的目录。

启动完成后,您可以使用浏览器在9000端口访问它。(这是默认值,但您可以通过添加-Dhttp.port=启动参数来更改它。)

在这里插入图片描述

卡夫洛普:

Kafdrop是一个用于查看 Kafka 主题和浏览消费者组的 Web UI。该工具显示信息,例如代理、主题、分区、消费者,并允许您查看消息。Kafdrop 看起来很现代并且非常令人印象深刻,它的功能与 Kafka Manager 的功能非常相似,但更侧重于让您查看代理的内容。其特点包括:

查看 Kafka 代理— 主题和分区分配以及控制器状态。

查看主题— 分区计数、复制状态和自定义配置。

浏览消息— JSON、纯文本和 Avro 编码。

查看消费者组- 每个分区的停放偏移、组合和每个分区的滞后。

创建新主题

查看 ACL

要开始,只需使用 Docker:
1627956707(1)

启动时,打开浏览器访问localhost:9000:
卡夫洛普

地洞:

另一个值得一提的工具是来自 LinkedIn 的Burrow。这次我们不会详细介绍它,因为它与这里提到的先前工具不属于同一类别。它没有图形用户界面,也没有任何集群管理功能。它的优势在于能够以简单的方式监控消费者群体的滞后和总体健康状况。它还可以通过电子邮件或 HTTP 自动通知管理员任何问题。我在这篇文章中更详细地介绍了它:使用 Burrow 监控 Kafka 消费者滞后。对技术感兴趣朋友可以加这个扣扣2779571288交流。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-04 11:16:50  更:2021-08-04 11:18:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 17:03:13-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码