IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> (十八)从零开始搭建k8s集群——使用KubeSphere管理平台搭建logstash服务 -> 正文阅读

[大数据](十八)从零开始搭建k8s集群——使用KubeSphere管理平台搭建logstash服务

前言

logstash是ELK日志管理服务的重要组件之一,本节内容我们实现使用kubesphere管理平台搭建一个可横向扩展的高可用logstash服务,用于日志收集。由于logstash是一个无状态的流处理软件,本身是没有集群方案的,我们这里只是做一个横向扩展。使用的镜像版本为logstash:8.1.3,这个要与前面elasticsearch的版本号一致,否则可能会有版本不兼容,发生未知的错误。

正文

  • 创建logstash的配置文件logstash.yml与logstash.conf

- 点击配置->配置字典-创建,填写logstash基本配置信息,点击下一步

- 点击添加数据

- logstash.yml配置文件内容

#可访问的主机IP地址
http.host: "0.0.0.0"
#elasticsearch的服务地址
xpack.monitoring.elasticsearch.hosts: [ "http://app-es.app:9200" ]

- 填写logstash.yml配置,点对号添加

-?logstash.conf配置文件内容

input{
       #直接通过logback收集日志传输到logstash中
       tcp{
           port => 5044
           type => "atp"
           codec => "json_lines"
       }
}
 
output{
    if [type] == 'atp'{
        elasticsearch {
            #es地址
            hosts => "app-es.app:9200"
            #索引
            index => "elk-cluster-logstash-%{[app]}-%{+YYYY.MM.dd}"
        }
    }
}

- 填写logstash.conf配置,点对号添加,完成logstash日志采集规则的配置?

- 点击创建,完成logstash文件的配置

  • ?创建logstash服务

-点击应用负载->服务-创建,选择无状态服务,填写logstash服务基本配置信息

- 容器组副本数量选为3,点击添加容器镜像logstash:8.1.3,点击选择使用默认端口,勾选同步主机时区

- 点击对号,点击下一步,点击挂载配置字典或保密字典

- 填写logstash.yml文件的挂载配置信息,这里选择子路径方式挂载,并勾选选择特定的键,添加logstash.yml配置?

?-??同上操作填写logstash.conf文件的挂载配置信息,这里选择子路径方式挂载,并勾选选择特定的键,添加logstash.conf配置?

- 点击对号添加,完成logstash配置文件挂载,点击下一步

?- 选择外部访问,NodePort访问方式访问

?- 点击创建,完成logstash应用服务的创建

  • 验证?

- 通过atp项目写入日志到logstash中,并使用kibana查询写入的日志

结语

至此,关于kubesphere平台搭建logstash服务到此就结束了,我们下期见。。。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-07 11:15:14  更:2022-05-07 11:16:36 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 0:57:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码