问题
- 我们的业务场景对排序要求较高,要求查询结果要按照相关度和信息时间严格排序
- 对于深分页和查询效率问题已经使用
search_after 实现,有兴趣可以看下 - 对于不同shard的同样的数据,查询得分不同,已经通过
DFS_QUERY_THEN_FETCH 实现,有兴趣可以看下 - 现存问题是,对于标题、内容、时间皆相同的文章,根据关键词和其他条件查询后,发现这两篇文章并未排列在一起,而是 出现在第1页和第2页
- 查看了查询评分结果,发现这两篇文章得分并不一样,一篇文章的得分明显多余另一篇
原因
- 后来对检索条件删减了一部分,发现查询得分相同了,加上某个查询条件后,得分不同
- 导致评分不同的词查询条件是一个must + 多should某字段的查询,类似mysql的in查询
- 和其他查询条件一样,它们都是作为筛选条件,但是其他筛选条件主要是排除数据,只有这个筛选需要命中多个值,导致同样的数据,因为这个字段不同排分不同
- Elasticsearch是一个基于Apache Lucene?的开源搜索引擎,而Lucene使用TF/IDF计算相关度算法。对于某个值在shard里出现的频次不同,得分不同。
- 这就导致虽然该字段term是in查询完全匹配,但是命中后,得分是不同的
TF: Term Frequency的缩写,表示该term在当前document出现的频率 IDF: Inverse Document Frequency缩写,表示该term在所有文档中出现的频率
解决
- 根据我们的业务需求,相关度排序,只关注标题、正文等字段命中,对于类型字段,只需要作为筛选条件,而不需要参与评分
- elasticsearch提供了一个constantScoreQuery,满足上面的需求
- 可以先把不需要参与评分的in查询构造一个bool查询,再使用constantScoreQuery包装起来
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
...省略
...
ConstantScoreQueryBuilder constantScoreQueryBuilder = QueryBuilders.constantScoreQuery(boolQuery);
|