IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ELK日志分析平台(上) -> 正文阅读

[大数据]ELK日志分析平台(上)

elasticsearch简介

  • Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上。
  • Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎:
  • 一个分布式的实时文档存储,每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据
  • 基础模块
    cluster:管理集群状态,维护集群层面的配置信息。
    alloction:封装了分片分配相关的功能和策略。
    discovery:发现集群中的节点,以及选举主节点。
    gateway:对收到master广播下来的集群状态数据的持久化存储。
    indices:管理全局级的索引设置。
    http:允许通过JSON over HTTP的方式访问ES的API。
    transport:用于集群内节点之间的内部通信。
    engine:封装了对Lucene的操作及translog的调用。

  • elasticsearch应用场景
    信息检索
    日志分析
    业务数据分析
    数据库加速
    运维指标监控

官网:https://www.elastic.co/cn/

1 单节点elasticsearch安装

清理实验环境:
在这里插入图片描述在这里插入图片描述在这里插入图片描述

ELK对应三个软件,注意版本匹配(7.6.1,自带jdk),需要提前删除之前安装的 jdk
在这里插入图片描述
所有主机添加解析
在这里插入图片描述
server7主机中安装与配置elasticsearch
server7给予2G内存
安装软件,7.6版本自带jdk,无需再次安装下载jdk
在这里插入图片描述
设置服务自启
在这里插入图片描述
查看日志
在这里插入图片描述
查看elasticsearch的端口:9200
在这里插入图片描述
编辑elasticsearch.yaml文件,使全部网段都可访问
在这里插入图片描述
cat jvm.options

-Xms1g
-Xmx1g
Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。

重启elasticsearch失败
在这里插入图片描述
查看日志:
在这里插入图片描述

继续编辑elasticsearch.yaml文件,集群名称:my-es,节点设定

索死1G内存的话需要修改系统限制 (/etc/security/limits.conf) 修改systemd启动文件(/usr/lib/systemd/system/elasticsearch.service),重启systemctl daemon-reload

!!!此处没有设定锁死 bootstrap.memory_lock: true #锁定内存分配 ,没有打开
在这里插入图片描述
在这里插入图片描述
三台主机都设定,指向server7主机
在这里插入图片描述
重启服务成功
在这里插入图片描述
查看日志,注意查看日志的名称已改变:my-es.log
在这里插入图片描述
测试:
外部访问成功

在这里插入图片描述
此处禁用swap分区:实验效果更加流畅,如果内存不够,可以不用禁止
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2 集群elasticsearch安装

复制elasticsearch的安装包给server9和server8
在这里插入图片描述
server8安装elasticsearch
在这里插入图片描述
server8修改elasticsearch配置文件
在这里插入图片描述在这里插入图片描述
server8重启服务
在这里插入图片描述

server9安装elasticsearch
在这里插入图片描述
server9修改elasticsearch配置文件
在这里插入图片描述在这里插入图片描述
server9重启服务
在这里插入图片描述
测试:
外部访问server8和server9
在这里插入图片描述在这里插入图片描述

3 elasticsearch插件安装

head插件本质上是一个nodejs的工程,因此需要安装node
在这里插入图片描述
安装node
在这里插入图片描述
解压master
在这里插入图片描述
保证可以上网

更换npm源安装

cd elasticsearch-head-master/
npm install  -g cnpm --registry=https://registry.npm.taobao.org

在这里插入图片描述
安装cnpm
在这里插入图片描述
cnpm -v 查看版本号
在这里插入图片描述

查看ES主机端口
在这里插入图片描述
在这里插入图片描述
端口查看
在这里插入图片描述
启动head插件,打入后台运行
在这里插入图片描述
设为中文,访问head插件服务
在这里插入图片描述
访问失败
在这里插入图片描述
需要在配置文件中加入以下内容
修改ES跨域主持

http.cors.enabled: true	# 是否支持跨域
http.cors.allow-origin: "*"	# *表示支持所有域名

在这里插入图片描述
重启ES服务生效
在这里插入图片描述

重新访问head插件服务成功!!!
默认监听在9100端口:

在这里插入图片描述

方法二:
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-14 14:08:30  更:2021-08-14 14:10:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 9:28:11-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码