IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> elk之es简单安装 -> 正文阅读

[大数据]elk之es简单安装

1:写在前面

本文介绍Linux下简单安装。在这里 下载es。在这里 下载jdk8。 在这里 下载ik。

2:安装配置

2.1:创建安装目录

$ mkdir -p /work/programs/elasticsearch
$ cd /work/programs/elasticsearch

将下载的文件放到目录,并tar -zxf解压。

2.2:配置

  • 修改elasticsearch.yml
    添加如下内容:
network.host: 0.0.0.0
bootstrap.system_call_filter: false
  • 修改/etc/security/limits.conf
    修改用户可用的最大线程数,最多可打开文件句柄数,对于最大线程数因为es要求最少4096个才会启动,而默认的是1024或者3795。nofile修改文件句柄,nproc修改线程数。
* soft nofile 65535
* hard nofile 65535
* soft nproc 4097
* hard nproc 4097

2.2:启动

注意切换到非root用户,es在root用户下不启动。

/work/programs/elasticsearch/elasticsearch-6.7.2/bin/elasticsearch -d

启动成功后查看日志:

[root@localhost ~]# tail -10 /work/programs/elasticsearch/elasticsearch-6.7.2/logs/elasticsearch.log 
[2021-12-04T04:54:23,420][INFO ][o.e.g.GatewayService     ] [mYT6YO6] recovered [0] indices into cluster_state
[2021-12-04T04:54:24,115][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.watches] for index patterns [.watches*]
[2021-12-04T04:54:24,206][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.triggered_watches] for index patterns [.triggered_watches*]
[2021-12-04T04:54:24,617][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.watch-history-9] for index patterns [.watcher-history-9*]
[2021-12-04T04:54:24,700][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.monitoring-logstash] for index patterns [.monitoring-logstash-6-*]
[2021-12-04T04:54:24,821][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.monitoring-es] for index patterns [.monitoring-es-6-*]
[2021-12-04T04:54:24,916][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.monitoring-beats] for index patterns [.monitoring-beats-6-*]
[2021-12-04T04:54:24,981][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.monitoring-alerts] for index patterns [.monitoring-alerts-6]
[2021-12-04T04:54:25,059][INFO ][o.e.c.m.MetaDataIndexTemplateService] [mYT6YO6] adding template [.monitoring-kibana] for index patterns [.monitoring-kibana-6-*]
[2021-12-04T04:54:25,326][INFO ][o.e.l.LicenseService     ] [mYT6YO6] license [7c34b397-4b3b-4b8f-90a8-2874f9bc8379] mode [basic] - valid

访问测试输出如下即为成功:

[dongyunqi@localhost elasticsearch]$ curl http://192.168.2.107:9200
{
  "name" : "mYT6YO6",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "9D9vjYwvRny-kX8_s08p8A",
  "version" : {
    "number" : "6.7.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "56c6e48",
    "build_date" : "2019-04-29T09:05:50.290371Z",
    "build_snapshot" : false,
    "lucene_version" : "7.7.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

3:安装插件ik

执行如下操作:

$ mkdir /work/programs/elasticsearch/elasticsearch-6.7.2/plugins/ik
$ cd /work/programs/elasticsearch/elasticsearch-6.7.2/plugins/ik
$ cp /path/to/elasticsearch-analysis-ik-6.7.2.zip /work/programs/elasticsearch/elasticsearch-6.7.2/plugins/ik
$ unzip /work/programs/elasticsearch/elasticsearch-6.7.2/plugins/ik/elasticsearch-analysis-ik-6.7.2.zip
$ ps -ef | grep elastic
$ kill 2382 # 假设我们找到的 ES 进程号为 2382 。

ik提供了两种分词模式,k_max_word :IK 最大化分词,会将文本做最细粒度的拆分。,k_smart :IK 智能分词,会做最粗粒度的拆分。如下使用实例:

[dongyunqi@localhost ik]$ curl -X POST \
>   http://localhost:9200/_analyze \
>   -H 'content-type: application/json' \
>   -d '{"analyzer": "ik_max_word","text": "百事可乐"}' && echo
{"tokens":[{"token":"百事可乐","start_offset":0,"end_offset":4,"type":"CN_WORD","position":0},{"token":"百事","start_offset":0,"end_offset":2,"type":"CN_WORD","position":1},{"token":"百","start_offset":0,"end_offset":1,"type":"TYPE_CNUM","position":2},{"token":"事","start_offset":1,"end_offset":2,"type":"CN_CHAR","position":3},{"token":"可乐","start_offset":2,"end_offset":4,"type":"CN_WORD","position":4}]}

[dongyunqi@localhost ik]$ curl -X POST \
>   http://localhost:9200/_analyze \
>   -H 'content-type: application/json' \
>   -d '{ "analyzer": "ik_smart", "text": "百事可乐" }' && echo 
{"tokens":[{"token":"百事可乐","start_offset":0,"end_offset":4,"type":"CN_WORD","position":0}]}

可以看到ik_max_word分出了更多的词,id_smart分出了更少的词。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-05 12:06:24  更:2021-12-05 12:08:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:23:30-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码