IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> centos7单机搭建elk -> 正文阅读

[大数据]centos7单机搭建elk

elasticsearch安装

下载elasticsearch安装包官网elk三件套下载
下载后使用tar -zxvf解压缩安装包,解压后进入目录,目录结构如下
在这里插入图片描述
bin目录存放了启动脚本,config目录存放了es相关的配置,启动之前进入config目录
在这里插入图片描述
目录内包含了以上的配置文件,这里只修改elasticsearch.yml配置文件,使用vim命令编辑
主要设置一下几个属性:

cluster.name: dell-application # 节点名称
path.logs: /etc/elasticsearch/elasticsearch-7.14.0/logs # 设置es输出的日志目录
bootstrap.memory_lock: false #是否锁住内存
bootstrap.system_call_filter: false #为TRUE时启动时检测,检测失败就启动不了了
cluster.initial_master_nodes: ["node-1-dell"] # 设置初始的节点

配置修改完后就可以启动es了,回到bin目录下,使用./elasticsearch命令启动,这里注意,es无法使用root用户进行启动,所以这里需要创建用户,使用useradd创建用户,并给用户添加权限,为了省事我直接给新创建的权限赋予了所有权限。
创建完用户后,使用su 新用户名的方式切换用户,然后启动elasticsearch,elasticsearch启动时会遇到很多问题,可以在执行启动脚本后查看报错信息,大致的原因会是内存分配、线程设置等问题,修改系统配置即可,列一下遇到的报错信息:

错误一:max virtual memory areas vm.max_map_count [65530] is too low
错误二:elasticsearch:max number of threads [3818] for user [es] is too low, increase to at least [4096]

对于错误一:
编辑 /etc/sysctl.conf 追加最大虚拟空间限制 vm.max_map_count=655360 ,修改完成后使用 sysctl -p 使系统配置生效。
对于错误二:
修改 /etc/security/limits.conf
在文件末尾增加以下两行(*号表示针对所有用户,也可以指定):

* soft nproc  4096
* hard nproc  4096

解决完所有问题,启动es没有报错后测试一下:
浏览器输入http://192.168.0.134:9200/,换成你自己的ip就会出现下面的信息
在这里插入图片描述
到此,es就安装完成了,可是每次都要到这个目录下面手动启动太麻烦了,于是想到用写个shell脚本设置开机自启动。

设置es开机启动

在/etc/init.d目录下创建es文件

#!/bin/sh
#chkconfig: 2345 80 05
#description: elasticsearch

case "$1" in
start)
    #es的启动账号名
    su es<<!
    #es的安装路径
    cd /etc/elasticsearch/elasticsearch-7.14.0/
    ./bin/elasticsearch -d
!
    echo "elasticsearch startup"
    ;;
stop)
    es_pid=`ps aux|grep elasticsearch | grep -v 'grep elasticsearch' | awk '{print $2}'`
    kill -9 $es_pid
    echo "elasticsearch stopped"
    ;;
restart)
    es_pid=`ps aux|grep elasticsearch | grep -v 'grep elasticsearch' | awk '{print $2}'`
    kill -9 $es_pid
    echo "elasticsearch stopped"
    su es<<!
    cd /etc/elasticsearch/elasticsearch-7.14.0/
    ./bin/elasticsearch -d
!
    echo "elasticsearch startup"
    ;;
*)
    echo "start|stop|restart"
    ;;
esac

exit $?

编辑完成保存,然后对文件赋予权限:chmod +x elasticsearch
设置开机启动:chkconfig --add es
es的开机启动脚本就完成了!

logstash安装

和es安装一样,下载、解压,进入目录后创建配置文件:

input {
	stdin{}
	file{
		path => ["/usr/springProject/logs/company-frame.log"] #日志文件的路径
		start_position => "beginning"
	}
}

output {
	elasticsearch {
		action => "index"
		hosts => "localhost:9200"  #es的url
		index => "logstash-%{+YYYY-MM-dd}" # 索引
	}
}

编写完配置文件,便可以用配置文件启动logstash,进入bin目录,使用./logstash -f /配置文件路径命令启动logstash,
在这里插入图片描述
出现上述情况表示启动logstash成功。

开机启动logstash脚本

在/etc/init.d目录下创建logstash文件

#!/bin/sh
#chkconfig: 2345 80 05
#description: logstash

case "$1" in
start)
    #logstash的安装路径
    cd /etc/logstash/logstash-7.14.0/
    ./bin/logstash -f /etc/logstash/logstash-7.14.0/dev_log.conf
!
    echo "logstash startup"
    ;;
stop)
    logstash_pid=`ps aux|grep logstash | grep -v 'grep logstash' | awk '{print $2}'`
    kill -9 $logstash_pid
    echo "logstash stopped"
    ;;
restart)
    logstash_pid=`ps aux|grep logstash | grep -v 'grep logstash' | awk '{print $2}'`
    kill -9 $logstash_pid
    echo "logstash stopped"
    cd /etc/logstash/logstash-7.14.0/
    ./bin/logstash -f /etc/logstash/logstash-7.14.0/dev_log.conf
!
    echo "logstash startup"
    ;;
*)
    echo "start|stop|restart"
    ;;
esac

exit $?

编辑完成保存,然后对文件赋予权限:chmod +x logstash
设置开机启动:chkconfig --add logstash
logstash的开机启动脚本就完成了!

kibana安装

下载解压kibana,进入config目录,编辑kibana.yml文件

server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"

保存后退出进入bin目录下,执行./kibana --allow-root启动脚本
启动成功后浏览器输入http://192.168.0.134:5601/即可打开kibana页面

设置systemctl启动服务方式

编辑vim /etc/systemd/system/kibana.service
写入:

ExecStart=/etc/kibana/kibana-7.14.0-linux-x86_64/bin/kibana --allow-root

[Install]
WantedBy=multi-user.target

执行:

systemctl enable kibana
systemctl start kibana #启动
systemctl status kibana #查看状态

kibana启动成功,使用systemctl enable kibana命令设置开机自启动。
以上完成elk的单机环境搭建工作。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-17 15:27:43  更:2021-08-17 15:29:18 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 13:15:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码