searchAfter简单来说就是将from。。。size中的from用searchAfter的sort字段表示,通过不断更新此sort字段实现向下滚动效果。但是和from不同的是对数据更新不敏感。
search after官网介绍 使用search_after时要求你的query值和sort值相同。更具体点是要求你的字段相同,你可以修改它的逻辑,比如你可以查时间为a的数据,那么你将逻辑改为比a大或者比a小都可以,但是你的逻辑必须是时间。sort同理,你可以升序也可以降序但你用来排序的字段不要变。
search-after使用需知: 1 使用search-after时不要修改你的query和sort字段 2 排序后的每条数据都是含有自己的sort值的,且他们都可以作为你接下来的search-after的值 3 请确保你的sort中最后得到的值是唯一的,比如有些数据你用时间排序,你的时间精确度不高导致sort有可能重复,那么你使用search-after后得到的值可能不符合你的预期。有可能有丢失,官方提供的思路是将_doc等元数据也放入排序字段中,因为_doc等数据一般是唯一的,将其加入一般可以保证你的sort字段唯一。
我写了这样个实例,使用@timestamp和_doc来排序,并且将每条数据和它的sort值打印出来。
public static void main(String[] args) {
RestHighLevelClient restHighLevelClient = TestEsCreate.getEsClient("**.**.***.***:*****");
SearchRequest searchRequest = new SearchRequest("logstash-applog-*");
searchRequest.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.filter(QueryBuilders.termQuery("projectName", "*******"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
);
try{
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
Object[] arrays = new Object[1];
for(SearchHit hit : searchResponse.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0] + " " + hit.getSortValues()[1]);
arrays = hit.getSortValues();
}
SearchRequest searchRequest_2 = new SearchRequest("logstash-applog-*");
searchRequest_2.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.must(QueryBuilders.termQuery("projectName", "****"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
.searchAfter(arrays));
SearchResponse searchResponse_2 = restHighLevelClient.search(searchRequest_2, RequestOptions.DEFAULT);
for(SearchHit hit : searchResponse_2.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0]);
arrays = hit.getSortValues();
}
SearchRequest searchRequest_3 = new SearchRequest("logstash-applog-*");
searchRequest_3.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.must(QueryBuilders.termQuery("projectName", "****"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
.searchAfter(arrays));
SearchResponse searchResponse_3 = restHighLevelClient.search(searchRequest_3, RequestOptions.DEFAULT);
for(SearchHit hit : searchResponse_3.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0]);
}
}catch(Exception e){
e.printStackTrace();
}
}
可以看到每条数据都有自己的sort值。
然后我们选任意的一个去查,比如这里面的第三条,我往前查,那么应该只会有两条。查询的方式也很简单就是将第三条的sort值放到searchAfter方法内,并进行降序 如下
Long a = 1646103038393000000L;
.searchAfter(new Object[]{a, 25102})
public static void main(String[] args) {
RestHighLevelClient restHighLevelClient = TestEsCreate.getEsClient("**.**.***.***:*****");
SearchRequest searchRequest = new SearchRequest("logstash-applog-*");
Long a = 1646103038393000000L;
searchRequest.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.filter(QueryBuilders.termQuery("projectName", "*****"))
)
.size(10)
.searchAfter(new Object[]{a, 25102})
.sort("@timestamp", SortOrder.DESC)
.sort("_doc", SortOrder.DESC)
);
try{
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
Object[] arrays = new Object[1];
for(SearchHit hit : searchResponse.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0] + " " + hit.getSortValues()[1]);
arrays = hit.getSortValues();
}
}catch(Exception e){
e.printStackTrace();
}
}
确实只有两条。而且你可以看到我上面是升序,下面是降序,可见search-after是可以向上向下滚动的。这一点相比scroll就有了很大的区别。而且可以看到我的size可以在滚动过程中进行修改,这一点也是scroll做不到的。
|