[大数据]深扒ELK

深扒ELK

一、日志服务器的优缺点：

1、优点：

①提高安全性
②集中存放日志

2、缺点：

对日志分析困难

二、什么是ELK？？？（重要的问号打三遍）

ELK是日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成。
官方网站: https://www.elastic.co/products
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

ES(nosql非关数据库)：存储功能和索引。
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中，通过input功能来收集/采集log。
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

1、Logstash管理包含四种工具：

Packetbeat ( 搜集网络流量数据)
Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
Filebeat (搜集文件数据)，相较于Logstash是轻量级工具
Winlogbeat (搜集Windows事件日志数据)

2、日志处理步骤：

①Logstash收集AppServer产生的Log,并将log进行集中化管理；
②将日志格式化(Logstash) 并存放到ElasticSearch集群中；
③对格式化后的数据进行索引|和存储( Elasticsearch)；
④Kibana则从Es集群中查询数据生成图表，再返回给browsers。

二、Elasticsearch的基础核心概念：

1、关系型数据库与Elasticsearch对应的关系：

2、核心特点：

①接近实时(NRT)

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。

②集群(cluster)

集群有一个唯一性标示的名字，默认是elasticsearch；
集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能；
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能；
集群名字很重要，每个节点是基于集群名字加入到其集群中的。
节点(node)
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能；
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名，可以自己定义；
名字在集群中用于识别服务器对应的节点。

③索引(index)

一个索引就是一个拥有几分相似特征的文档的集合；
一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。

④类型(type)

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；通常，会为具有一组共同字段的文档定义一个类型

⑤文档( document )

文档以JSON ( Javascript object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。

⑥分片(shards)

即es作为搜索引擎快的原因：
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
分片的好处：
①：水平分割扩展，增大存储量
②：分布式并行跨分片操作，提高性能和吞吐量

⑦副本(replicas)

为了防止网络问题等其它问题造成数据丢失，需要有一个故障切换机制，为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。
副本也有两个最主要原因:
①：高可用性，以应对分片或者节点故障，需要在不同的节点上
②：提高性能， 增大吞吐量，搜索可以并行在所有副本上执行

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次( 意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。

三、Logstash介绍

Logstash由JRuby语言编写，基于消息(message-based) 的简单架构，并运行在Java虚拟机(JVM)上。LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。
Logstash的理念很简单，它只做3件事情:Collect:数据输入、Enrich:数据加工，1如过滤，改等、Transport:数据输出( 被其他模块进行调用)

1. logStash的主要组件

    ①：Shipper(日志收集者)：负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent)只需要运行这个组件即可;
	②：Indexer(日志存储者)：负责接收日志并写入到本地文件。
	③：Broker(日志Hub)：负责连接多个Shipper和多个Indexer
	④：Search and Storage(搜索和存储器)：允许对事件进行搜索和存储;
	⑥：Web Interface(web界面端):基于Web的展示界面
	2. LogStash主机分类
	①：代理主机(agent host) :作为事件的传递者(shipper)，将各种日志数据发送至中心主机;只需运行Logstash代理( agent)
	②：程序中心主机(central host) ：可运行包括中间转发器(Broker) 、索引器(Indexer) 、搜索和存储器( Search and
	Storage )、web界面端(web Interface)在内的各个组件，以实现对日志数据的接收、处理和存储

四、Kibana介绍

1、简介

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

2、主要功能

①：Elasticsearch无缝之集成：Kibana架构为Elasticsearch定制， 可以将任何结构化和非结构化数据加入Elasticsearch索引；Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
②：整合你的数据：Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
③：复杂数据分析：Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
④：让更多团队成员受益：强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
⑤：接口灵活，分享更容易：使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
⑥：配置简单：Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
⑦： 可视化多数据源：Kibana可以非常方便地把来自Logstash、 ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等。
⑧：简单数据导出：Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

五、配置ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点， 并监控apache服务器日志

1、安装elasticsearch集群

1.1、配置elasticsearch环境

更改主机名配置域名解析查看Java环境：
	hostnamectl set-hostname node1
	hostnamectl set-hostname node2
	hostnamectl set-hostname apache
	vim /etc/hosts
	192.168.65.40 node1
	192.168.65.50 node2
	上传jdk压缩包至opt目录下
	tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
	cd /usr/local/
	mv jdk1.8.0_91 jdk
	vim /etc/profile
	export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
	source /etc/profile
	java -version

1.2、部署elasticsearch软件

上传elasticsearch软件包至opt目录下
    rpm -ivh elasticsearch-5.5.0.rpm
	systemctl daemon-reload 	##加载系统服务
	systemctl enable elasticsearch	##开启服务

修改elasticsearch配置文件
	cd /etc/elasticsearch/
	cp elasticsearch.yml elasticsearch.yml.bak
	vim elasticsearch.yml
		17 cluster.name: my-elk-cluster		##更改集群名称
		23 node.name: node1		##更改节点名称
		33 path.data: /data/elk_data		##更改数据存放路径，elk_data需要手工创建
		37 path.logs: /var/log/elasticsearch		##更改日子文件目录
		43 bootstrap.memory_lock: false	##锁定物理内存地址，防止es内存被交换出去，频繁的交换，会导致IOPS变高(性能测试:每秒的读写次数)
		55 network.host: 0.0.0.0		##改成全网段
		59 http.port: 9200		##开启端口
		68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]  		##更改节点名称
		---->wq
	grep -v '^#' /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data		##创建数据存放路径
chown elasticsearch:elasticsearch /data/elk_data/		##更改属主属组
systemctl start elasticsearch		##开启服务

node2服务器同样的配置
在真机浏览器192.168.65.1打开

192.168.65.40:9200/_cluster/health?pretty ##检查集群健康状态
192.168.65.40:9200/_cluster/state?pretty ##查看集群状态

1.3、安装elasticsearch-head插件

上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
	登录192.168.65.40 node1主机

	上传node-v8.2.1.tar .gz到/opt 
	yum -y install gcc gcc-C++ make 
	编译安装node组件依赖包  耗时比较长47分钟
	cd /opt
	tar -xzvf node-v8.2.1.tar.gz
	cd node-v8.2.1
	./configure
	make -j3		(此过程需要10-30分钟不定，具体看你电脑的配置)
	make install

1.4、安装phantomjs前端框架

上传软件包到/usr/local/src/
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin 
cp phantomjs /usr/local/bin

1.5、安装elasticsearch-head数据可视化工具

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

vim /etc/elasticsearch/elasticsearch.yml		##修改主配置文件
配置文件末尾插入一下两行
	http.cors.enabled: true    		##开启跨域访问支持，默认为false
	http.cors.allow-origin: "*"		##跨域访问允许的域名地址
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start &启动elasticsearch-head启动服务器；切换到后台运行

本机windows查看192.168.65.40:9100和192.168.65.50:9100
localhost改为node的ip就会显示节点信息状态

curl -XPUT 'localhost:9200/klj/test/1?pretty&pretty' -H 'conten-TYPE: application/json' -d '{"user":"zs","mesg":"hapyy"}'		##插入一段索引叫klj，索引类型为test，索引内容用户zs，信息happy

2、安装logstash

登录192.168.65.50 在Apache服务器上；logstash做一些日志搜集输出到elasticsearch中

2.1、更改主机名，关闭防火墙、核心防护

hostnamectl set-hostname logstash
setenforce 0
systemctl stop firewalld

2.2、安装apache服务和jdk环境

yum -y install httpd
systemctl start httpd
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
	export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version

2.3、安装logstash

安装包上传至opt目录下

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service 
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

2.4、对接测试logstash (Apache)与elasticsearch (node) 功能是否正常

Logstash这个命令测试字段描述解释:
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串该字符串可以被当做logstash的配置(如果是”", 则默认使用stdin做为标准输入、stdout作为标准输出)
-t：测试配置文件是否正确，然后退出

2.5、采用标准输入/输出

logstash agent(代理)的插件
①input
②filter
③output
logstash -e 'input { stdin{} } output { stdout{} }'

2.6、使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'

2.7、使用logstash将信息写入elasticsearch中，并查看

logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.35.40:9200"] } }'	##输入输出对接

输入对接先不退出，在本机的window访问elasticsearch head插件的数据浏览
可以看出概览多出logstash-2021.8.14

点击数据浏览查看相应的内容

但是手动输入上千条数据不现实，需要使用平台收集日志

chmod o+r /var/log/messages		##给其他用户加一个可读权限
vim /etc/logstash/conf.d/system.conf		##配置文件(收集系统日志)
	input {
		file{
	  	  path => "/var/log/messages" //收集数据的路径
		 	  type => "system"            //类型
		    start_position => "beginning"    //从开头收集数据
		    }
		}
	output {
		elasticsearch {
		    hosts => ["192.168.35.40:9200"]     //输出到
		    index => "system-%{+YYYY.MM.dd}"    //索引
   		    }
		}
systemctl restart logstash.service		##重启服务

3、node1主机上安装kibana

上传kibana-5.5.1-x86_64.rpm到/usr/local/src目录
cd /usr/local/src
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
	 2 server.port: 5601		##kibana打开的端口
	 7 server.host: "0.0.0.0“		##kibana侦听的地址
	21 elasticsearch.url: "http://192.168.35.40:9200"		##和elasticsearch建立联系
	30 kibana.index: ".kibana"		##在elasticsearch中添加. kibana索引
systemctl start kibana.service		##启动kibana服务
访问5601端口：http://192.168.35.40:5601/
注意：若是discover发现不了数据可以切换360浏览器

3.1、对接apache的日志(访问的、错误)

cd /etc/logstash/conf.d/
vim apache_log.conf
input {
	file{
	    path => "/etc/httpd/logs/access_log"
	    type => "access"
	    start_position => "beginning"
	    }
	file{
	    path => "/etc/httpd/logs/error_log"
	    type => "error"
	    start_position => "beginning"
	    }
	}
output {
	if [type] == "access" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_access-%{+YYYY.MM.dd}"
   	    }
	}
	if [type] == "error" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_error-%{+YYYY.MM.dd}"
   	    }
	}
	}
logstash -f apache_log.conf		##指定使用apache_log.conf的配置文件

进入kibana进入创建Apache索引appche_acess和apache_error
首页Management–Index Patterns–Create Index Pattern–选择inde name or pattern

3.2、验证索引

这时查看kibana均可以查询到Apache_access-、Apache_error-、system-*

六、总结

本章讲解了elk(日志简化分析的管理工具)是由ElasticSearch、 Logstash和Kiabana三个开源工具组成的;分别的功能如下：
ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读