[大数据]ELK分布式日志系统架构

filebeat=>kafka/redis=>logstash=>Elastic Search=>kibana <=>nginx/haproxy<=日志查询用户

• Filebeat 收集日志，发送到中间件
• Kafka/Redis 消息列队暂存数据，供logstash拉取
• Logstash 拉取并处理后推送到ElasticSearch
• ElasticSearch 接收日志并存储分类
• Kibana 提供查询和图形化显示日志数据
  - filebeat收集多种日志的时候不好进行区分
• 添加logstash层进行日志数据初始化处理
• 在logstash上对filebeat收集到的数据进行处理分类后，
• 再写到kafka的不同topic，
• 再来一层logstash从kafka拉取数据送到elasticSearch上

ELK集群终极形态闪亮登场