IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 使用logstash接收syslog,针对同一端口区分不同索引 -> 正文阅读

[大数据]使用logstash接收syslog,针对同一端口区分不同索引

概述

之前已经实现了syslog到logstash到elasticsearch的一个syslog收集过程。但是有个问题一直困扰我,就是有些设备因为比较老,不支持将syslog送到不同的端口,所以他们的日志在kibana里就很难区分,也就不太好针对性的去做解析了。

折腾了一下午,google无数+es论坛的帮助,基本解决了这个问题。

解决方法

大致的思路还是在logstash上做文章。我们知道,logstash的配置文件分为三个部分,即inputfilteroutput

首先在input这里,参数如下。这里需要注意的是,host是logstash的监听地址,而不是发送syslog的源地址。

    syslog{
        type => "syslog-generic"
        host => "1.2.3.4"
        port => 514
    }

那么,所有送到514端口的日志,我们都会给他打上一个syslog-generictype

重点来了,在filter部分,我们这样写:

 if [host] == "1.2.3.4" {
    mutate {
      replace => { "[type]" => "syslog-dns-query"}
    }
  }

这段也很简单,如果host1.2.3.4,那么我们把type replace为syslog-dns-query。当然,这里也是可以设置grok语法的。
至于output部分就不说了,正常操作即可。

总结

第一个问题是如何区分。在input哪里,我们没法区分端口,那就简单一点,直接监听514并且给一个默认的type

最重要的来了,我们其实可以分析下收到的日志

在这里插入图片描述
这张图,如果我们要用这里的severity的话,我们就得使用[fields][severity],在es论坛看了半天没搞明白这个fields是啥,在这里其实就能看出来了。

在这里插入图片描述

这张图,我们可以看到标红部分的host,是一个text字段,那么我们直接就可以匹配了。如果是数组可能还麻烦一点。
同时他还有其他一些字段也可以利用,比如tag啥的。

这样一来,其实很简单是不是?

另外,似乎据说logstash的性能不是太好,下面可以考虑用pipeline或者其他形式来实现。好在logstash+syslog的形式不需要对原设备进行改造或者安装软件,还是很方便的。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-01-24 10:57:59  更:2022-01-24 10:59:07 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年10日历 -2024/10/24 1:49:17-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码