文章目录
1.准备（集群所有节点）
| IP | Hostname | Elasticsearch | Kibana | Logstash |
|---|---|---|---|---|
| 192.168.120.104 | yellow.elk | ES（master or data） | kibana | logstash |
| 192.168.120.105 | blue.elk | ES（master or data） | None | logstash |
| 192.168.120.106 | green.elk | ES（master or data） | None | logstash |
| 服务 | 版本 |
|---|---|
| Elasticsearch | 7.15.2 |
| Kibana | 7.15.2 |
| Logstash | 7.15.2 |
# 操作系统信息
[root@yellow ~]# cat /etc/redhat-release
CentOS Linux release 7.8.2003 (Core)
[root@yellow ~]# uname -r
3.10.0-1127.el7.x86_64
[root@yellow ~]#
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭 NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
# 关闭SELINUX
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
grep SELINUX=disabled /etc/selinux/config
setenforce 0
# 设置epel源
wget http://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm
yum install epel-release-latest-7.noarch.rpm -y
vim /etc/security/limits.conf # 修改配置
* soft nofile 655360
* hard nofile 655360
* soft nproc 32000
* hard nproc 32000
* hard memlock unlimited
* soft memlock unlimited
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
vim /etc/sysctl.conf # 修改配置
vm.max_map_count=655360
sysctl -p # 使配置生效
# 更新系统并重启
yum update -y && reboot
1.1 安装JDK（集群所有节点）
# 卸载jdk
rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
# 解压
tar -zxvf jdk-11.0.13_linux-x64_bin.tar.gz && mv jdk-11.0.13 /usr/local/jdk11
# 配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk11
export JRE_HOME=$JAVA_HOME
export ES_JAVA_HOME=$JAVA_HOME
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile # 使环境变量生效
java --version # 查看是否配置成功
echo $JAVA_HOME # 查看是否配置成功
echo $ES_JAVA_HOME
# 设置快速软链接
ln -s /usr/local/jdk11/bin/java /usr/local/bin/java
2.Elasticsearch搭建
2.1 ES下载
一般下载最新版本半年前的版本：https://www.elastic.co/cn/downloads/past-releases#elasticsearch
本次下载的版本：7.15.2 RPM包
2.2 安装（集群所有节点）
# 把ES的RPM包上传到集群的所有节点，执行yum安装
yum localinstall elasticsearch-7.15.2-x86_64.rpm -y
# 查看安装路径
[root@yellow ~]# rpm -qa | grep elasticsearch
elasticsearch-7.15.2-1.x86_64
[root@yellow ~]# rpm -ql elasticsearch-7.15.2-1.x86_64 > espath.txt
# 查看 espath.txt 的内容
# 查看配置文件
[root@yellow ~]# rpm -qc elasticsearch-7.15.2-1.x86_64
/etc/elasticsearch/elasticsearch.yml
/etc/elasticsearch/jvm.options
/etc/elasticsearch/log4j2.properties
/etc/elasticsearch/role_mapping.yml
/etc/elasticsearch/roles.yml
/etc/elasticsearch/users
/etc/elasticsearch/users_roles
/etc/init.d/elasticsearch
/etc/sysconfig/elasticsearch
/usr/lib/sysctl.d/elasticsearch.conf
/usr/lib/systemd/system/elasticsearch.service
2.3 修改配置文件（集群所有节点）
vim /etc/elasticsearch/elasticsearch.yml
# ES集群名称，集群节点要配置相同
cluster.name: myes
# 节点名称
node.name: yellow.elk
# 是不是有资格成为主节点
node.master: true
# 是否存储数据
node.data: true
# 最大集群节点数
node.max_local_storage_nodes: 3
# 数据存储的目录（多个目录使用逗号分隔）
path.data: /var/lib/elasticsearch
# 日志目录
path.logs: /var/log/elasticsearch
# 锁住es内存，保证内存不分配至交换分区
bootstrap.memory_lock: true
# 设置本机IP地址，绑定本机IP, 否则不能远程访问
network.host: 192.168.120.104
# 端口默认9200
http.port: 9200
# 内部节点之间沟通端?
transport.tcp.port: 9300
# 写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["yellow.elk:9300", "blue.elk:9300", "green.elk:9300"]
# 初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["yellow.elk", "blue.elk", "green.elk"]
# 每隔多长时间ping一个node
# master选举/节点间通讯超时时间(这个时间的配置需要根据实际情况设置)
discovery.zen.fd.ping_interval: 30s
# 每次ping的超时时间
discovery.zen.fd.ping_timeout: 120s
# 一个node被ping多少次失败就认为是故障了
discovery.zen.fd.ping_retries: 6
# 集群脑裂问题参数配置
# elasticsearch则可以配置返回消息的节点数量, 一般情况下会配置(n/2 + 1)个节点
discovery.zen.minimum_master_nodes: 2
# 多少个节点启动后就可以组成集群
gateway.recover_after_nodes: 2
# 期望多少个节点联通之后才开始分配shard
gateway.expected_nodes: 3
# 超时时间
gateway.recover_after_time: 1m
node.ingest: true
http.cors.enabled: true
http.cors.allow-origin: true
# 保证存放数据的目录有对应权限
chown -R elasticsearch:elasticsearch /var/lib/elasticsearch
2.4 启动服务（集群所有节点）
# 启动
systemctl start elasticsearch
# 设置开机启动
systemctl enable elasticsearch
# 检测
http://192.168.120.104:9200/
http://192.168.120.105:9200/
http://192.168.120.106:9200/
# 查看集群状况
http://192.168.120.104:9200/_cat/health?v
3.Cerebro搭建
下载最新版本：[https://github.com/lmenezes/cerebro/releases](https://github.com/lmenezes/cerebro/releases)
# 安装
yum install cerebro-0.9.4-1.noarch.rpm -y
# 启动
systemctl start cerebro
systemctl enable cerebro
# 访问
http://192.168.120.104:9000/
# 直接添加ES集群
http://192.168.120.104:9200/
4.Kibana搭建
# 在 yellow.elk 节点搭建Kibana
https://www.elastic.co/cn/downloads/kibana
# 安装
yum install kibana-7.15.2-x86_64.rpm -y
# 配置
vim /etc/kibana/kibana.yml
server.publicBaseUrl: "http://192.168.120.104:5601"
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.120.104:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
# 启动
systemctl start kibana
systemctl enable kibana
# 访问
http://192.168.120.104:5601/
5.Logstash搭建
# 集群系统时区设置，方法1：
yum install ntpdate -y && ntpdate time1.aliyun.com && timedatectl set-timezone Asia/Shanghai
# 集群系统时区设置，方法2：
https://blog.csdn.net/Happy_Sunshine_Boy/article/details/89917443
# Logstash下载
https://www.elastic.co/cn/downloads/past-releases#logstash
# 安装
yum install logstash-7.15.2-x86_64.rpm -y
# 修改配置文件
cd /etc/logstash
cp logstash-sample.conf syslog.conf
vim syslog.conf
# 自定义日志源
input {
syslog {
type => "system-syslog" # 定义类型
port => 10514 # 定义监听端口
}
}
# 定义日志输出
output {
elasticsearch {
hosts => ["http://192.168.120.104:9200"] # 定义es服务器的ip
index => "system-syslog-%{+YYYY.MM.dd}" # 定义索引
#index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" # 定义索引
#user => "elastic"
#password => "changeme"
}
}
# 检测该项配置是否成功
/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/syslog.conf --config.test_and_exit
# 设置ip
vim logstash.yml
http.host: 192.168.120.104
# 启动
systemctl start logstash
systemctl enable logstash
