Logstash数据处理服务的输入插件Input常见类型以及基本使用
文章目录
1.Input插件常用的类型
logstash的插入插件通常有stdin（用于调试）、file、redis、kafka、beats（filebeat）类型。
2.Logstash Input常用配置参数
Input中通用的一些配置自动，这些字段可以在Redis、kakfa、filebeat、file等等各种类型的输入插件中使用。
add_field：添加一个字段到一个事件，放到事件顶部，一般用于标记日志来源。例如属于哪个项目，哪个应用
tags：添加任意数量的标签，用于标记日志的其他属性，例如表明访问日志还是错误日志
type： 为所有输入添加一个字段，例如表明日志类型
这三个配置字段都是在收集的一条日志数据中增加上这些字段信息，这三个字段只需要选择一个进行配置就可以了，在outpost输出插件中可以根据字段和值进行匹配，分别将不同字段的日志数据存储到不同的ES索引库中。
1.配置logstash
[root@elkstack-1 ~]# vim /data/elk/logstash/conf.d/test.conf
input {
file {
path => "/var/log/test/*.log"
exclude => "error.log"
start_position => "beginning"
tags => "web" #增加一个标签
type => "nginx" #增加一个字段type，值为nginx
add_field => { #在日志数据的最前面增加字段信息，project为web，app为nginx
"project" => "web"
"app" => "nginx"
}
}
}
filter {
}
output {
file {
path => "/tmp/log.txt"
}
}
2.重载配置
[root@elkstack-1 ~]# ps aux | grep logstash | grep -v grep | awk '{print $2}' |xargs kill -HUPUP
观察收集的日志数据信息，增加了我们配置的一些字段属性
{"message":"web field","app":"nginx","path":"/var/log/test/access.log","tags":["web"],"host":"elkstack-1","project":"web","@version":"1","@timestamp":"2021-12-09T09:18:58.735Z","type":"nginx"}
收集来的日志数据都是json格式，可以放到json解析器中展示
3.Input配置File类型的输入插件
以/var/log/messages为例，通过logstash将message中的日志输出到/tmp/log.txt文件中。
3.1.经典案例
1.编写配置文件
[root@elkstack-1 logstash]# cat conf.d/test.conf
input { #定义日志的来源
file { #类型为file，从文件中读取日志数据
path => "/var/log/message" #日志路径
}
}
filter { #过滤器
}
output { #定义日志输出的存储路径
file {
path => "/tmp/log.txt" #日志路径
}
}
2.重载logstash
[root@elkstack-1 logstash]# ps aux | grep logstash | grep -v grep | awk '{print $2}' |xargs kill -HUP
或者
[root@elkstack-1 logstash]# systemctl restart logstash
观察/tmp/log.txt文件中有没有logstash写入的数据内容。
1.向/var/log/messages中插入日志数据
[root@elkstack-1 ~]# echo "123456" >> /var/log/messages
3.追踪/tmp/log.txt观察日志是输出
[root@elkstack-1 ~]# tail -f /tmp/log.txt
{"path":"/var/log/messages","host":"elkstack-1","@version":"1","@timestamp":"2021-12-09T08:12:43.656Z","message":"123456"}
3.2.File类型的常用字段
path：日志的存放路径，支持通配符匹配。
exclude：排除不需要采集的日志文件。
start_position：指定日志文件从什么位置开始读取，默认是从结尾开始读取，指定参数值为beginning表示从文件开头开始读取。
示例：读取/var/log/test目录中所有的日志文件，但是排除error.log这个文件。
1.logstash配置文件内容
[root@elkstack-1 ~]# vim /data/elk/logstash/conf.d/test.conf
input {
file {
path => "/var/log/test/*.log" #读取test目录下的所有日志文件
exclude => "error.log" #不采集error日志文件
start_position => "beginning" #从文件的开头开始读取
}
}
filter {
}
output {
file {
path => "/tmp/log.txt"
}
}
2.重载logstash
[root@elkstack-1 ~]# ps aux | grep logstash | grep -v grep | awk '{print $2}' |xargs kill -HUP
观察日志采集的效果
1.向access日志中写入数据
[root@elkstack-1 ~]# echo access12332 > /var/log/test/access.log
[root@elkstack-1 ~]# echo access1 >> /var/log/test/access.log
2.日志被logstash正常的采集到了
[root@elkstack-1 ~]# tail -f /tmp/log.txt
{"path":"/var/log/test/access.log","message":"2","@version":"1","host":"elkstack-1","@timestamp":"2021-12-09T08:53:54.953Z"}
{"path":"/var/log/test/access.log","message":"access1","@version":"1","host":"elkstack-1","@timestamp":"2021-12-09T08:53:59.969Z"}
3.写入error日志则不会被采集
[root@elkstack-1 ~]# echo abc >> /var/log/test/access.log
4.logstash beats类型的插入插件
Beats插件是用来接收来自Beats数据采集器发送来的数据，常见的数据采集器有Filebeat、Metricbeat、Packetbeat、Winlogbeat、Auditbeat、Heartbeat、Functionbeat等等。
示例如下：
1.配置logstash
[root@elkstack-1 ~]# vim /data/elk/logstash/conf.d/test.conf
input {
beats {
host => "0.0.0.0"
port => 5044
}
}
filter {
}
output {
file {
path => "/tmp/log.txt"
}
}
