elastic search
版本特性介绍
新特性5.x
- Lucene 6.x， 性能提升，默认打分机制从TF- -IDF改为BM 25
- 支持Ingest节点/ Painless Scripting / Completion suggested支持/原生的Java REST客户端
- Type标记成deprecated, 支持了Keyword的类型
- Type标记成deprecated, 支持了Keyword的类型
- 内部引擎移除了避免同一文档并发更新的竞争锁，带来15% - 20%的性能提升
- Instant aggregation, 支持分片上聚合的缓存
- 新增了Profile API
新特性6.x
- Lucene 7.x
- 新功能
- 跨集群复制(CCR)
- 索引生命周期管理
- SQL的支持
- 更友好的的升级及数据迁移
- 在主要版本之间的迁移更为简化，体验升级
- 全新的基于操作的数据复制框架，可加快恢复数据
- 性能优化
- 有效存储稀疏字段的新方法，降低了存储成本
- 在索引时进行排序，可加快排序的查询性能，
新特性7.x
- Lucene8.0
- 重大改进-正式废除单个索引下多Type 的支持
- 7.1开始，Security 功能免费使用
- ECK - Elasticseach Operator on Kubernetes
- 新功能
- New Cluster coordination
- Feature-Complete High Level REST Client
- Script Score Query
- 性能优化
- 默认的Primary Shard数从5改为1，避免Over Sharding
- 性能优化，更快的Top K
Elastic Stack生态圈
Elastichsearch与数据库的集成
指标分析/日志分析
安全分析:集成ArcSight
本地部署&水平扩展.
安装
安装Java
-
运行Elasticsearch,需安装并配置JDK
- 设置$JAVA_ _HOME
-
各个版本对Java的依赖
- Elasticsearch 5需要Java 8以上的版本
- Elasticsearch从6.5开始支持Java 11
- https:/ /www.elastic.co/ support/ matrix#matrix_ _jvm
- 7.0开始，内置了Java环境
获取Elasticsearch安装包
这里我安装的是7.1
安装地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-1-0
版本地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch
解压安装包
tar -zxvf elasticsearch-7.1.0-linux-x86_64.tar.gz
Elasticsearch的文件目录结构
JVM配置
-
修改 JVM - config/ jvm.options
- 7.1下载的默认设置是1 GB .
-
配置的建议
- Xmx和Xms设置成一样
- Xmx不要超过机器内存的50%
- 不要 超过30GB - https:/ /www.elastic.co/blog/ a-heap- -of- -trouble
启动
./bin/elasticsearch
访问：localhost/9200
{
"name" : "Cp8oag6",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "AT69_T_DTp-1qgIJlatQqA",
"version" : {
"number" : "7.0.1",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "f27399d",
"build_date" : "2016-03-30T09:51:41.449Z",
"build_snapshot" : false,
"lucene_version" : "8.0.0",
"minimum_wire_compatibility_version" : "1.2.3",
"minimum_index_compatibility_version" : "1.2.3"
},
"tagline" : "You Know, for Search"
}
配置公网访问修改端口
-----------------------Network------------------------------------------------
network.host: 0.0.0.0
http.port: 19200
接下来你重新执行改命令就会报错
ERROR: [3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[3]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
第一个问题
vim /etc/security/limits.conf
后缀新增
* soft nofile 65536
* hard nofile 65536
配置完之后需要重新推出用户重新进入就可以了
第二个问题
vim /etc/sysctl.conf
后面新增
vm.max_map_count=655360
保存推出
sysctl -p
第三个问题
这里把默认节点改成1
vim ../config/elasticsearch.yml
cluster.initial_master_nodes: ["node-1"]
安装与查看插件
查看是否安装插件
./bin/elasticsearch-plugin list
安装插件 国际化分词插件
[vmuser@admin elasticsearch-7.1.0]$ ./bin/elasticsearch-plugin install analysis-icu
[vmuser@admin elasticsearch-7.1.0]$ ./bin/elasticsearch-plugin list
analysis-icu
访问地址
http://http://localhost//_cat/plugins
可以看到这个分词插件已经安装成功
在同一台机器上运行多个实例
启动进程
bin/elasticsearch -E node.name=node0 -E cluster.name=geektime -E path.data=node1_data -d
bin/elasticsearch -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data -d
bin/elasticsearch -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data -d
bin/elasticsearch -E node.name=node3 -E cluster.name=geektime -E path.data=node3_data -d
删除进程
ps l grep elasticsearch
kill pid
查看当前节点
http://100.100.100.100:19200/_cat/nodes
下一章安装kibana