IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> @01Elastic Stack(ELK)的介绍及Elasticsearch部署 -> 正文阅读

[大数据]@01Elastic Stack(ELK)的介绍及Elasticsearch部署

Elastic Stack

一、ELK介绍

ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又称为ELK stack,官方域名为elastic.co

在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack,ELK是旧的称呼,Elastic Stack是新的名字。

在这里插入图片描述

【ELK的特点】

1.处理方式灵活: elasticsearch是实时全文索引,具有强大的搜索功能
2.配置相对简单:elasticsearch全部使用JSON 接口,logstash使用模块配置,kibana的配置文件部分更简单。
3.检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应。
4.集群线性扩展:elasticsearch和logstash都可以灵活线性扩展
5.前端操作绚丽:kibana的前端设计比较绚丽,而且操作简单

【Elastic Stack的组成】

在这里插入图片描述

1、Elasticsearch

Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等

是一个高度可扩展的开源全文搜索和分析引擎,它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口,可以处理大规模日志数据
列如:Nginx、Tomcat、系统日志等功能

在这里插入图片描述

2、Logstash

Logstash 基于java,是一个开源的用于收集,分析和存储日志的工具

可以通过插件实现日志收集和转发,支持日志过滤,支持普通log、自定义json格式的日志解析

3、Kibana

Kibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的
Web 界面,可以汇总、分析和搜索重要数据日志

主要是通过接口调用elasticsearch的数据,并进行前端数据可视化的展现

示列:
在这里插入图片描述

二、Elasticsearch部署

【Elasticsearch的概述】

【官网地址】

在这里插入图片描述

【Elasticsearch部署环境】

1、关闭防火墙和selinux

#CentOS6 关闭防火墙
 /etc/init.d/iptables stop
 
#CentOS7 关闭防火墙
 systemctl stop firewalld






#关闭NetworkManager
systemctl  disable  NetworkManager






#临时关闭
[root@elk01 ~]# setenforce 0
setenforce: SELinux is disabled
#永久关闭
[root@elk01 ~]# vim /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled    ==>      //原来是enforcing 改成disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2、安装epel源

#CentOS6 下载epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

#CentOS7 下载epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

3、时区修改,时间同步

#将时区修改为上海时区(直接覆盖即可)
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime



#同步服务器时间(切记保证集群之间时间一致非常重要)
ntpdate time1.aliyun.com

4、准备java环境(jdk)

elasticsearch服务运行需要java环境

【JDK下载地址】

#安装方式
方式一:直接使用yum安装openjdk
yum install  java-1.8.0*






方式二:本地安装在oracle官网下载rpm安装包:
yum  localinstall jdk-8u92-linux-x64.rpm






方式三:下载二进制包自定义profile环境变量:
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[root@elk01 ~]# tar xvf jdk-8u121-linux-x64.tar.gz  -C /usr/local/
[root@elk01 ~]# ln -sv /usr/local/jdk1.8.0_121 /usr/local/jdk
[root@elk01 ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
[root@elk01 ~]# source  /etc/profile
[root@elk01 ~]# java -version
java version "1.8.0_121"      #确认可以出现当前的java版本号
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

【Elasticsearch下载】

【Elasticsearch下载地址】

#下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-x86 _64.rpm
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-30 12:07:06  更:2021-08-30 12:07:12 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 16:43:35-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码