IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ElasticSearch es 参数调优 -> 正文阅读

[大数据]ElasticSearch es 参数调优

首先上版本号:ES 版本:6.5.4

一般来说ES 的默认参数已经能够满足大部分场景需求,不需要也不建议我们去调节。

但是根据不同的业务场景我们还是可以做一些系统调优,接下来针对常用的参数总结如下:

1、_routing?

? ? ?参数作用是将文档路由到不同的分片,默认是根据hash(document’s?_id?) 进行路由的,默认情况,如果我们根据某些条件进行检索时,由于没有指定_routing,请求会分发到所有分片进行检索然后聚合。

这对于某些场景明显是比较耗时的,哪些场景我们等下描述,首先我们讲下问什么耗时?第一:查询请求会分发到所有分片里,分发的过程首先会浪费时间,另外我们知道木桶效应,只要一个节点的查询速度慢,会导致整个请求的查询时间变慢。

那什么场景适合自定义_routing 呢?像根据用户ID 查询订单这个场景,单个用户的订单量一般是比较少的,这种场景很适合我们自定义_routing, 这样我们查询某个用户订单的时候制定uid,就可以快速查询到,节点越多,这个优化的效果约明显。

2、number_of_replicas

? ? ? 参数定义我们数据存储的分片数,主要是为了数据的高可靠性,一个副本坏掉可以从其他副本恢复,对于我们大部分日志系统来说数据丢失也可以接受的,对于日志系统来说我们是可以把副本数设置为1甚至是0

3、文件的字段类型? keyword 和text?

? ? ?从ES 5.2 版本以后ES 去掉了String类型,增加了keyword 和text 字段类型

? ? ?对于text字段类型的字段在创建时会默认进行分词,例如:我喜欢编程, 存储时会存储三个倒序? ? ? ?索引,{我,喜欢,编程} => 文档ID。

? ? ?如果我们需要精确查询的时候,比如根据订单ID去查询的时候,一般情况我们是需要精确查询? ? ? ?的,这时候我们在创建索引的时候就需要把字段设置为keyword类型的,不仅可以节省磁盘空? ? ? ? ?间,而且也会明显提升我们的查询效率。

4、JVM?

? ? ?一般建议 Xms 和 Xmx设置一样大,对于低于64G内存的机器,设置为不大于机器内存的1/2. 留足够大空间给pageCache, 对于大于64G内存的机器,不建议Xmx > 32G,可以部署多个进程去充分利用内存。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-21 15:32:29  更:2021-08-21 15:33:29 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 13:13:31-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码