[大数据] Elasticsearch(es)多种方式查询索引是否存在重复数据

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Elasticsearch(es)多种方式查询索引是否存在重复数据 -> 正文阅读

[大数据]Elasticsearch(es)多种方式查询索引是否存在重复数据

1.获取重复数据

GET test.project/_search
{
    "size":0,
    "aggs":{
        "field":{
            "terms":{
                "field":"id.keyword",
                "size":3000,
                "min_doc_count":1
            }
        }
    }
}

2. 统计去重数目

GET test.project/_search
{
  "size": 0, 
  "aggs": {
    "count": {
      "cardinality": {
        "field": "id.keyword"
      }
    }
  }
}

3. 返回去重内容

3.1 aggs的方式?

GET test.project/_search
{
    "query":{
        "match_all":{

        }
    },
    "aggs":{
        "type":{
            "terms":{
                "field":"id.keyword",
                "size":10
            },
            "aggs":{
                "id_top":{
                    "top_hits":{
                        "_source":{
                            "includes":"name"
                        },
                        "sort":[
                            {
                                "create_date.keyword":{
                                    "order":"desc"
                                }
                            }
                        ],
                        "size":1
                    }
                }
            }
        }
    },
    "size":0
}

3.2 折叠方式

GET test.project/_search
{
    "query":{
        "match_all":{

        }
    },
    "collapse":{
        "field":"id.keyword"
    },
    "_source":{
        "includes":"name"
    }
}