[大数据]使用docker安装部署filebeat采集日志并发送给elasticsearch、logstash

项目场景：

项目场景：使用docker安装部署filebeat采集日志并发送给elasticsearch、logstash
前提：需要安装elasticsearch ? 可参考文章链接: 《Docker进行安装部署Elaticsearch》.

1.拉取

例如：首先从DockerHub上拉取filebeat到本地 统一版本7.6.2

docker pull elastic/filebeat:7.6.2

2.运行（只作为拷贝原文件使用）

docker run -d --name=filebeat elastic/filebeat:7.6.2

3.拷贝数据

#将filebeat 容器内的目录拷贝出来
docker cp filebeat:/usr/share/filebeat /home/yanglei/ElasticStackAll/FileBeatAll/
#对拷贝出来的文件进行权限更改
chmod 777 -R /home/yanglei/ElasticStackAll/FileBeatAll/filebeat/
#将filebeat.yml的权限改为仅所有者可写入
chmod go-w /home/yanglei/ElasticStackAll/FileBeatAll/filebeat/filebeat.yml

4.编辑配置文件

#编辑filebeat.yml
vi /home/yanglei/ElasticStackAll/FileBeatAll/filebeat/filebeat.yml

将如下内容写入filebeat.yml 具体输出到logstash还是elasticsearch看个人选择吧。

#收集系统日志
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/*.log

#使用模板需要开启
#filebeat.config:
#  modules:
#    path: ${path.config}/modules.d/*.yml
#    reload.enabled: false

#输出到elasticsearch
output.elasticsearch:
  hosts: 'elasticsearch的IP:9200'
  indices:
    - index: "filebeat-%{+yyyy.MM.dd}"

#输出到logstash
#output.logstash:
#  hosts: '124.220.5.211:5044'
#  indices:
#    - index: "logstash-%{+yyyy.MM.dd}"
###################################################

5.删除容器

#删除filebeat
docker rm -f filebeat

6.重新启动容器

#启动filebeat
#/home/yanglei/ElasticStackAll/FileBeatAll/filebeat/ 就是把宿主机的filebeat挂载到容器内filebeat目录
#/home/yanglei/DockerAll/nginxAll/logs 我是直接把宿主机nginx的logs日志目录 挂载到容器内home目录内
docker run -d --name=filebeat  --restart=always -v /home/yanglei/ElasticStackAll/FileBeatAll/filebeat/:/usr/share/filebeat/ -v /home/yanglei/DockerAll/nginxAll/logs:/home elastic/filebeat:7.6.2

7.查看是否有误

#需要等待三十秒再查看filebeat日志
docker logs -f filebeat 

filebeat查看日志需要等待三十秒，没报错的话就正常运行了，可以通过elasticsearch-hade或者kibana来查看具体索引是否创建

elasticsearch-hade：查看索引

kibana：查看索引 未安装kibana可参考文章链接: 《使用docker安装部署kibana》.

推荐文章：《使用docker安装部署kibana》
推荐文章：《使用docker安装部署elaticsearch》
推荐文章：《使用docker安装部署Elaticsearch-hade》
推荐文章：《使用docker安装部署filebeat采集日志并发送给elasticsearch、logstash》
推荐文章：《使用docker安装部署logstash 获取filebeat采集的日志 过滤后发送给elasticsearch》

参考文章：https://cloud.tencent.com/developer/article/1706511 docker安装filebeat

超强干货来袭

云风专访：近40年码龄，通宵达旦的技术人生