[大数据]kibana 7.5.1 + metricbeat 7.5.1实现主机和kafka应用指标监控

基本过程是通过安装和部署metricbeat，该组件收集信息上传到elasticsearch，然后再通过kibana查看和展示指标信息。下面以windows为例进行说明：

1. 下载metricbeat地址

https://www.elastic.co/cn/downloads/past-releases/metricbeat-7-5-1

下载到本地后，进行解压，然后进行配置。

2. 配置文件metricbeat.yml

该配置文件中，可以配置elasticsearch参数，如果都是按默认配置部署，可以不做修改。

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

由于这里只是在本地环境中对基本功能的演示，?所有就尽量使用默认配置了。

3. 开启kafka指标

执行命令：

metricbeat.exe modules enable kafka

在modules.d/kafka.yml中进行kafka相关配置

- module: kafka
  #metricsets:
  #  - partition
  #  - consumergroup
  period: 10s
  hosts: ["kafkahost:9092"]

根据需要监控的kafka进行配置，这里的主机名需要与kafka中配置的保持一致。

listeners=PLAINTEXT://kafkahost:9092

如果配置为ip地址，则可能会出现连接不到kafka，并在日志文件中出现错误提示信息：

No advertised broker with address xx.xx.xx.xx:9092 found

4. 执行初始化并启动

# 初始化模板
metricbeat setup --dashboards

# 查看启用的模块
metricbeat modules list

# 执行并输出控制台日志
metricbeat.exe -e

5. kibana查看主机metrics

从kibana的metrics菜单可以看到监控信息。

?查看具体的指标信息：

?5. kibana查看kafka指标

kafka指标在dashboard中进行查看，选择kafka后，可以看到kafka的监控信息：

可以看到对kafka的监控信息。