ELK日志分析平台——elasticsearch分布式部署
一、elasticsearch简介
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上，其特点如下：
1、一个分布式的实时文档存储，每个字段可以被索引与搜索
2、一个分布式实时分析搜索引擎
3、能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构
化数据
基础模块
? cluster：管理集群状态，维护集群层面的配置信息。
? alloction：封装了分片分配相关的功能和策略。
? discovery：发现集群中的节点，以及选举主节点。
? gateway：对收到master广播下来的集群状态数据的持久化存储。
? indices：管理全局级的索引设置。
? http：允许通过JSON over HTTP的方式访问ES的API。
? transport：用于集群内节点之间的内部通信。
? engine：封装了对Lucene的操作及translog的调用。
二、elasticsearch安装与配置
1、软件下载
2、安装软件
- 7.6版本自带jdk
rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh elasticsearch-7.6.1-x86_64.rpm
3、修改配置文件
cd /etc/elasticsearch/
vim elasticsearch.yml
- matster设定为初始化，要修改需要清空数据目录，再重启服务即可
cat /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-skk ##集群名称
23 node.name: server1 ##主机名需要解析
33 path.data: /var/lib/elasticsearch ##数据目录
37 path.logs: /var/log/elasticsearch ##日志目录
43 bootstrap.memory_lock: true ##锁定内存分配
55 network.host: 172.25.36.1 ##主机ip
59 http.port: 9200 ##http服务端口
68 discovery.seed_hosts: ["server1", "server2","server3"] ##集群
72 cluster.initial_master_nodes: ["server1"] ##初始化master端
4、修改系统限制
- Xmx设置不超过物理RAM的50%，以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
vim /etc/security/limits.conf
elasticsearch soft memlock unlimited ##设定软件存储不受限制
elasticsearch hard memlock unlimited ##设定硬件存储不受限制
elasticsearch - nofile 65536
elasticsearch - nproc 4096
vim /etc/elasticsearch/jvm.options
-Xms500M
-Xmx500M
5、修改systemd启动文件
vim /usr/lib/systemd/system/elasticsearch.service
LimitMEMLOCK=infinity ##在service语句块下添加
systemctl daemon-reload
6、启动服务，网页访问（访问端须做地址解析）
systemctl start elasticsearch
三、elasticsearch节点设定
- server2和server3主机作server1的节点
1、安装软件
rpm -ivh elasticsearch-7.6.1-x86_64.rpm
2、须完成与上面相同的操作，所以复制server1的文件即可
scp /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/elasticsearch.yml
scp /etc/elasticsearch/elasticsearch.yml server3:/etc/elasticsearch/elasticsearch.yml
scp /etc/elasticsearch/jvm.options server2:/etc/elasticsearch/jvm.options
scp /etc/elasticsearch/jvm.options server3:/etc/elasticsearch/jvm.options
scp /etc/security/limits.conf server2:/etc/security/limits.conf
scp /etc/security/limits.conf server3:/etc/security/limits.conf
scp /usr/lib/systemd/system/elasticsearch.service server2:/usr/lib/systemd/system/elasticsearch.service
scp /usr/lib/systemd/system/elasticsearch.service server3:/usr/lib/systemd/system/elasticsearch.service
3、配置不同之处修改如下
vim /etc/elasticsearch/elasticsearch.yml
23 node.name: server2
55 network.host: 172.25.36.2
23 node.name: server3
55 network.host: 172.25.36.3
4、重读systemd启动文件，启动服务，网页访问（须做解析）
systemctl daemon-reload
systemctl start elasticsearch
四、elasticsearch插件安装
1、cerebro监控集群
（1）在rhel8.2的真机中使用podman添加镜像
dnf install podman -y
podman load -i cerebro.tar
（2）使用9000端口映射开启进程
podman run -d --name cerebro -p 9000:9000 lmenezes/cerebro
netstat -antlp|grep 9000
（3）访问监控
2、elasticsearch-head监控集群
- server1～3都可以上网
（1）下载elasticsearch-head插件，并解压
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
yum install -y unzip
unzip elasticsearch-head-master.zip
（2）head插件本质上是一个nodejs的工程，因此需要安装node
wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
（3）更换npm源安装
cd elasticsearch-head-master/
npm install -g cnpm --registry=https://registry.npm.taobao.org ##更换npm源为淘宝
（4）安装插件
yum install bzip2 -y ##安装所需插件
cnpm -v ##查看当前插件
cnpm install
（5）启动服务在后台运行
cnpm run start &
（6）修改elasticsearch配置文件，修改ES跨域主持
- server1~3都要修改，要从master开始重启
vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true ##是否支持跨域
http.cors.allow-origin: "*" ##*表示支持所有域名
systemctl restart elasticsearch
（7）访问9100端口，监控9200端口
