IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> elasticsearch:查询评分排除某些查询条件constantScoreQuery -> 正文阅读

[大数据]elasticsearch:查询评分排除某些查询条件constantScoreQuery

问题

  • 我们的业务场景对排序要求较高,要求查询结果要按照相关度和信息时间严格排序
  • 对于深分页和查询效率问题已经使用search_after实现,有兴趣可以看下
  • 对于不同shard的同样的数据,查询得分不同,已经通过DFS_QUERY_THEN_FETCH实现,有兴趣可以看下
  • 现存问题是,对于标题、内容、时间皆相同的文章,根据关键词和其他条件查询后,发现这两篇文章并未排列在一起,而是 出现在第1页和第2页
  • 查看了查询评分结果,发现这两篇文章得分并不一样,一篇文章的得分明显多余另一篇

原因

  • 后来对检索条件删减了一部分,发现查询得分相同了,加上某个查询条件后,得分不同
  • 导致评分不同的词查询条件是一个must + 多should某字段的查询,类似mysql的in查询
  • 和其他查询条件一样,它们都是作为筛选条件,但是其他筛选条件主要是排除数据,只有这个筛选需要命中多个值,导致同样的数据,因为这个字段不同排分不同
  • Elasticsearch是一个基于Apache Lucene?的开源搜索引擎,而Lucene使用TF/IDF计算相关度算法。对于某个值在shard里出现的频次不同,得分不同。
  • 这就导致虽然该字段term是in查询完全匹配,但是命中后,得分是不同的

TF: Term Frequency的缩写,表示该term在当前document出现的频率
IDF: Inverse Document Frequency缩写,表示该term在所有文档中出现的频率

解决

  • 根据我们的业务需求,相关度排序,只关注标题、正文等字段命中,对于类型字段,只需要作为筛选条件,而不需要参与评分
  • elasticsearch提供了一个constantScoreQuery,满足上面的需求
  • 可以先把不需要参与评分的in查询构造一个bool查询,再使用constantScoreQuery包装起来
// in查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
...省略
...
// 包装一下
ConstantScoreQueryBuilder constantScoreQueryBuilder = QueryBuilders.constantScoreQuery(boolQuery);
// 后面可以直接用了
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-09 10:18:18  更:2021-08-09 10:18:33 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 17:16:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码