Elastic Stack
一、ELK介绍
ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又称为ELK stack,官方域名为elastic.co
在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack,ELK是旧的称呼,Elastic Stack是新的名字。
【ELK的特点】
1.处理方式灵活: elasticsearch是实时全文索引,具有强大的搜索功能
2.配置相对简单:elasticsearch全部使用JSON 接口,logstash使用模块配置,kibana的配置文件部分更简单。
3.检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应。
4.集群线性扩展:elasticsearch和logstash都可以灵活线性扩展
5.前端操作绚丽:kibana的前端设计比较绚丽,而且操作简单
【Elastic Stack的组成】
1、Elasticsearch
Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等
是一个高度可扩展的开源全文搜索和分析引擎,它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口,可以处理大规模日志数据 列如:Nginx、Tomcat、系统日志等功能
2、Logstash
Logstash 基于java,是一个开源的用于收集,分析和存储日志的工具
可以通过插件实现日志收集和转发,支持日志过滤,支持普通log、自定义json格式的日志解析
3、Kibana
Kibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总、分析和搜索重要数据日志
主要是通过接口调用elasticsearch的数据,并进行前端数据可视化的展现
示列:
二、Elasticsearch部署
【Elasticsearch的概述】
【官网地址】
【Elasticsearch部署环境】
1、关闭防火墙和selinux
/etc/init.d/iptables stop
systemctl stop firewalld
systemctl disable NetworkManager
[root@elk01 ~]
setenforce: SELinux is disabled
[root@elk01 ~]
SELINUX=disabled ==> //原来是enforcing 改成disabled
SELINUXTYPE=targeted
2、安装epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
3、时区修改,时间同步
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate time1.aliyun.com
4、准备java环境(jdk)
elasticsearch服务运行需要java环境
【JDK下载地址】
方式一:直接使用yum安装openjdk
yum install java-1.8.0*
方式二:本地安装在oracle官网下载rpm安装包:
yum localinstall jdk-8u92-linux-x64.rpm
方式三:下载二进制包自定义profile环境变量:
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[root@elk01 ~]
[root@elk01 ~]
[root@elk01 ~]
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
[root@elk01 ~]
[root@elk01 ~]
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
【Elasticsearch下载】
【Elasticsearch下载地址】
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-x86 _64.rpm
|