IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> 通过elk分析nignx日志 -> 正文阅读

[系统运维]通过elk分析nignx日志

关于elk搭建请看:《elk搭建与简单的线上应用》

前序

在上一次《elk搭建和简单线上应用》中写道,Filebeat可以替代Logstash来实现数据收集与简单的清洗工作。
但是关于nignx日志各个字段都要清洗出来,当前Filebeat还做不到,需要借用Logstash能力
下面我将线上分析nignx日志的例子,来展示Logstash强大数据清洗的能力
具体步骤可以参考:https://www.cnblogs.com/hukey/p/11519612.html#1.%20%E5%89%8D%E8%A8%80

1、将nginx以json的日志格式输出
修改nginx配置文件:vim /etc/nginx/nginx.conf,如图修改
各参数详解请看:https://www.cnblogs.com/love-ycy/p/13741220.html
在这里插入图片描述
修改完nginx.conf,重新载入配置:nginx -s reload
查看nginx:/var/log/nginx/access.log,如下图
在这里插入图片描述
2、在业务服务器安装filebeat
这个在《elk搭建和简单线上应用》已经写过如何安装filebeat
这边我贴上获取nginx日志的filebeat配置文件:filebeat.yml
修改完配置文件重启filebeat服务
在这里插入图片描述
在这里插入图片描述

3、修改Logstash的配置文件
当前nginx日志信息已经发送到elk服务器的Logstash,修改Logstash的配置文件
1)cd /root/data/logstash/config/conf.d
2)vim filebeat-nginx.conf 我这边截取比较重要的配置,具体如何修改Logstash的配置文件请看Logstash开源文档

数据输入配置
在这里插入图片描述
下面是解析nginx的access日志的配置
在这里插入图片描述
在这里插入图片描述
下面是解析nginx的error日志的配置
在这里插入图片描述
下面是数据输出配置
在这里插入图片描述
重启elk:docker restart elk
这时候经过数据清洗的数据导入到Elasticsearch

4、我们登录Kibana:http://服务器A的IP:5601

如果网络层是通的,就可以在Kibana的索引管理中看到创建的新索引:logstash-nginx-xxx,有索引,就可以用Kibana分析日志了
在这里插入图片描述

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2022-03-30 19:10:50  更:2022-03-30 19:12:56 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 23:55:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码