[系统运维]Prometheus+Grafana监控Kafka

部署规划

Grafana安装参见

Grafana8.5.0+Zabbix5.0LTS可视化监控数据_leboop-L的博客-CSDN博客https://dl.grafana.com/enterprise/release/grafana-enterprise-8.5.0-1.x86_64.rpmhttps://dl.grafana.com/enterprise/release/grafana-enterprise-8.5.0-1.x86_64.rpmIndex of /grafana/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://blog.csdn.net/L_15156024189/article/details/124456905Prometheus安装参见

Centos7安装Prometheus_leboop-L的博客-CSDN博客目录Prometheus整体架构下载安装配置启动验证报错解决Prometheus整体架构下载 官方下载地址如下：Download | Prometheushttps://prometheus.io/download/下载版本prometheus-2.35.0-rc0.linux-amd64.tar.gz，如图：安装 将下载包prometheus-2.35.0-rc0.linux-amd64.tar.gz上传到/...https://blog.csdn.net/L_15156024189/article/details/124470379

安装Kafka exporter

下载

? ? ? ? 关于exporter介绍参见

Exporters and integrations | PrometheusAn open-source monitoring system with a dimensional data model, flexible query language, efficient time series database and modern alerting approach.https://prometheus.io/docs/instrumenting/exporters/本文使用kafka exporter版本如下：

kafka_exporter-1.4.2.linux-amd64.tar.gz

下载地址：

Releases · danielqsj/kafka_exporter · GitHubhttps://github.com/danielqsj/kafka_exporter/releases

安装

? ? ? ? 将下载的包上传到bigdata111的/root/toos目录下，执行如下命令解压：

tar -zxvf kafka_exporter-1.4.2.linux-amd64.tar.gz -C /opt/

?

启动

? ? ? ? 执行如下命令，启动kafka_exporter：

./kafka_exporter --kafka.server bigdata112:9092

?kafka_exporter监听端口9308。

浏览器中输入http://bigdata111:9308/metrics，可以看到kafka_exporter采集的监控指标，如图：

?

?prometheus配置

配置

? ? ? ? 打开prometheus配置文件，命令如下：

vi /opt/prometheus/prometheus.yml

配置文件添加如下配置：??

- job_name: 'kafka'
? ? static_configs:
? ? - targets: ['bigdata111:9308'] ? ?#配置kafka监控

添加好后，如图：?

执行如下命令，检查配置格式是否正确：?

./promtool check config prometheus.yml

重启

? ? ? ? 执行如下命令重启prometheus，并查看服务状态：

systemctl restart prometheus.service

systemctl status prometheus.service

如图：

?

Prometheus查看Kafka指标

浏览器输入Prometheus服务地址

?http://bigdata111:9090/

点击Status-->Targets，如图：

如图：

Grafana展示Kafka指标

Grafana添加Prometheus数据源

? ? ? ? Configuration-->Data sources-->Add data source，如图：?

?URL配置Prometheus的服务器地址和端口。点击Save & test，如图：

?

导入Dashboard

Kafka Exporter的Dashboard参见

Kafka Exporter Overview dashboard for Grafana | Grafana LabsKafka resource usage and throughputhttps://grafana.com/grafana/dashboards/7589

在Grafana如下导入，点击Create-->Import

日安如7589，如图：

?点击右边Load，如图：

?点击Import，?如图：

需要配置kafka exporter地址端口，如图：

?数据成功显示，如图：

?

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖