前言
logstash是ELK日志管理服务的重要组件之一,本节内容我们实现使用kubesphere管理平台搭建一个可横向扩展的高可用logstash服务,用于日志收集。由于logstash是一个无状态的流处理软件,本身是没有集群方案的,我们这里只是做一个横向扩展。使用的镜像版本为logstash:8.1.3,这个要与前面elasticsearch的版本号一致,否则可能会有版本不兼容,发生未知的错误。
正文
- 创建logstash的配置文件logstash.yml与logstash.conf
- 点击配置->配置字典-创建,填写logstash基本配置信息,点击下一步
- 点击添加数据
- logstash.yml配置文件内容
#可访问的主机IP地址
http.host: "0.0.0.0"
#elasticsearch的服务地址
xpack.monitoring.elasticsearch.hosts: [ "http://app-es.app:9200" ]
- 填写logstash.yml配置,点对号添加
-?logstash.conf配置文件内容
input{
#直接通过logback收集日志传输到logstash中
tcp{
port => 5044
type => "atp"
codec => "json_lines"
}
}
output{
if [type] == 'atp'{
elasticsearch {
#es地址
hosts => "app-es.app:9200"
#索引
index => "elk-cluster-logstash-%{[app]}-%{+YYYY.MM.dd}"
}
}
}
- 填写logstash.conf配置,点对号添加,完成logstash日志采集规则的配置?
- 点击创建,完成logstash文件的配置
-点击应用负载->服务-创建,选择无状态服务,填写logstash服务基本配置信息
- 容器组副本数量选为3,点击添加容器镜像logstash:8.1.3,点击选择使用默认端口,勾选同步主机时区
- 点击对号,点击下一步,点击挂载配置字典或保密字典
- 填写logstash.yml文件的挂载配置信息,这里选择子路径方式挂载,并勾选选择特定的键,添加logstash.yml配置?
?-??同上操作填写logstash.conf文件的挂载配置信息,这里选择子路径方式挂载,并勾选选择特定的键,添加logstash.conf配置?
- 点击对号添加,完成logstash配置文件挂载,点击下一步
?- 选择外部访问,NodePort访问方式访问
?- 点击创建,完成logstash应用服务的创建
- 通过atp项目写入日志到logstash中,并使用kibana查询写入的日志
结语
至此,关于kubesphere平台搭建logstash服务到此就结束了,我们下期见。。。
|