[大数据]ELK 集群 安装 部署

ELK 集群 安装 部署

• 史上最靠谱 集群部署 ( 7.1 , 7.2 , 7.3 , 7.4 , 7.5 , 7.6 , 7.7 , 7.8 等版本 )

一、ELK软件包下载

登录用户使用 root 账户下载软件、解压软件、拷贝软件 ，如果需要更换版本，可修改连接中的版本号

• elasticsearch
  • https://www.elastic.co/downloads/past-releases#elasticsearch

   #下载
    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz
  

• kibana
  • https://www.elastic.co/downloads/past-releases#kibana

  #下载
  wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.0-linux-x86_64.tar.gz
  

• logstash
  • https://www.elastic.co/downloads/past-releases#logstash

     #下载
    wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.0.zip
  

• filebate
  • https://www.elastic.co/downloads/past-releases#filebeat

     #下载
   https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.0-linux-x86_64.tar.gz
      ```
  
  

二、服务器安装地址

• 安装 elasticsearch
  • 10.8.12.80, 10.8.12.82, 10.8.12.83
• 安装 kbana
  • 10.8.12.80
• 安装 logstash
  • 10.8.12.80
• 安装 filebate （收集业务日志）
  • 10.8.12.84

注意：elasticsearch, 启动命令切请换到elasticsearch账户下执行
kbana,logstash 启动命令切请换到 root 账户下执行

三、安装 elasticsearch

• 创建目录及安装软件(10.8.12.80, 10.8.12.82, 10.8.12.83)

创建ES启动用户
useradd elasticsearch
创建安装目录
mkdir -p /usr/local/elk/elasticsearch
解压软件报
tar -zxvf /usr/local/elk/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz
拷贝软件报到  
cp -r elasticsearch-7.5.0-linux-x86_64 /usr/local/elk/
重命名文件包
mv /usr/local/elk/elasticsearch-7.5.0-linux-x86_64 /usr/local/elk/elasticsearch

#配置系统变量
#配置 内核参数
echo "vm.swappiness=0" >> /etc/sysctl.conf
echo "vm.max_map_count=655350" >> /etc/sysctl.conf
sysctl -p
#配置文件句柄等系统参数
vi /etc/security/limits.conf 
* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

#授权目前给elasticsearch用户
chown -R elasticsearch:elasticsearch /usr/local/elk

• elasticsearch 配置及启动命令

#节点1
cluster.name: cluster-7.5.0
node.name: node-1
node.master: true
node.data: true
path.data: /usr/local/elk/elasticsearch/data
path.logs: /usr/local/elk/elasticsearch/logs
http.port: 9200
network.host: 10.8.12.80
discovery.seed_hosts: ["10.8.12.80", "10.8.12.82","10.8.12.83"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#节点2
cluster.name: cluster-7.5.0
node.name: node-2
node.master: true
node.data: true
path.data: /usr/local/elk/elasticsearch/data
path.logs: /usr/local/elk/elasticsearch/logs
http.port: 9200
network.host: 10.8.12.82
discovery.seed_hosts: ["10.8.12.80", "10.8.12.82","10.8.12.83"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#节点3
cluster.name: cluster-7.5.0
node.name: node-3
node.master: true
node.data: true
path.data: /usr/local/elk/elasticsearch/data
path.logs: /usr/local/elk/elasticsearch/logs
http.port: 9200
network.host: 10.8.12.83
discovery.seed_hosts: ["10.8.12.80", "10.8.12.82","10.8.12.83"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

启动命令
切换用户执行
su elasticsearch
sh /usl/local/elk/elasticsearch/bin/elasticsearch -d

验证是否成功
http://10.8.12.80:9200

四、安装 kibana

*软件解压及软件配置

解压
tar -zxvf /usr/local/elk/kibana-7.5.0-linux-x86_64.tar.gz

修改包名
mv /usr/local/elk/kibana-7.5.0-linux-x86_64 kibana

修改配置
vim /usr/local/elk/kibana/config/kibana.yml

#将默认配置改成如下：
i18n.locale: "zh-CN"                   
#kibana默认文字是英文，变更成中文
server.port: 5601                              
#浏览器访问端口
server.host: "0.0.0.0"                 
#对外的服务地址
elasticsearch.hosts: ["http://10.8.12.80:9200"]  

启动命令

在root账户下执行命令
sh /usr/local/elk/kibana --allow-root  >/tmp/kibana.log 2>&1 &  
#日志路径也可以根据自己需求调整

五、安装 logstash

• 软件解压

解压
unzip  /usr/local/elk/logstash-7.5.0.zip
修改包名
mv /usr/local/elk/logstash-7.5.0 /usr/local/elk/logstash
mkdie /usr/local/elk/logstash/data
mkdie /usr/local/elk/logstash/logs

• 配置信息

vi /usr/local/elk/logstash/config/logstash.conf
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

output {
  #  'oa'、'crm','wms'是配置的filebeat配置的字段，为了实现不同日志创建不同的索引 
  if [fieldtype] == "oa"{
     elasticsearch {
     #es地址
     hosts => ["http://10.8.12.80:9200"]
     #索引名字生成规则
     index => "oa-%{+YYYY.MM.dd}"
     #user => "elastic"
     #password => "changeme"
     }
  } else if [fieldtype] == "crm" {
   elasticsearch {
      hosts => ["http://10.8.12.80:9200"]
      index => "crm-%{+YYYY.MM.dd}"
      #user => "elastic"
      #password => "changeme"
      }
  } else if [fieldtype] == "wms" {
    elasticsearch {
      hosts => ["http://10.8.12.80:9200"]
      index => "wms-%{+YYYY.MM.dd}"
      #user => "elastic"
      #password => "changeme"
    }
  } else {
     elasticsearch {
      hosts => ["http://10.8.12.80:9200"]
      index => "oa-%{+YYYY.MM.dd}"
      #user => "elastic"
      #password => "changeme"
    }
  }
  
}

vi /usr/local/elk/logstash/config/logstash.yml
path.data:  /usr/local/elk/logstash/data
path.logs:  /usr/local/elk/logstash/logs

启动命令

在root账户下执行命令
bin/logstash -f config/logstash.conf &

六、安装 filebeat

• 安装地址服务器 10.8.12.84
• 软件解压

mkdir -p /usr/local/elk/filebeat
cd  /usr/local/elk/filebeat
解压
tar -zxvf /usr/local/elk/kibana-7.5.0-linux-x86_64.tar.gz
修改包名
mv /usr/local/elk/kibana-7.5.0-linux-x86_64 kibana

• 软件配置

vi /usr/local/elk/filebeat/filebeat.yml
#配置需要采集的日志
- type: log
  # enabled 属性必须是true,默认是不开启的，这个一定要注意，配置不熟是一个大坑
  enabled: true
  paths:
    - /opt/oa/logs/err.log
    - /opt/oa/logs/out.log
  fields:
      # oa对应到logstash配置的字段
      fieldtype: oa
  fields_under_root: true

- type: log
  # enabled 属性必须是true,默认是不开启的，这个一定要注意，配置不熟是一个大坑
  enabled: true
  paths：
    - /opt/crm/logs/err.log
    - /opt/crm/logs/out.log
  fields: 
     # crm对应到logstash配置的字段
     fieldtype: crm
  fields_under_root: true 
   
- type: log
  # enabled 属性必须是true,默认是不开启的，这个一定要注意，配置不熟是一个大坑
  enabled: true
  paths:
    - /opt/wms/logs/err.log
    - /opt/wms/logs/out.log
  fields: 
      # oa对应到logstash配置的字段
     fieldtype: wms
  fields_under_root: true 
  
output.logstash:
#输出到logstash
hosts: [“10.8.12.80:5044”]

• 启动命令

 在root账户下执行命令
./filebeat -e -c filebeat.yml -d "Publish" &

七 kibana 使用

• 访问地址：http://10.8.12.80:5601
  可以开始使用了