IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> kibana es创建模板,索引,导入数据,简单聚合查询 -> 正文阅读

[大数据]kibana es创建模板,索引,导入数据,简单聚合查询

1.创建模板

PUT _template/metering_template
{
		"index_patterns": ["df_*_metering"],
		"settings": {
			"number_of_shards": 1,
			"number_of_replicas": 1
		},
		"mappings": {
			"dynamic_templates": [//strings类型的字段设置为keyword
				{
					"strings_as_keywords": {
						"match_mapping_type": "string",
						"mapping": {
							"type": "keyword"
						}
					}
				}
			],
			"date_detection": false,//日期检测自动转换为日期类型关闭
			"properties": {
				"count": {//count字段设置为long
					"type": "long"
				},
				"time": {
					"type": "date"
				}
			}
		}
}

2.获取模板

GET _template/metering_template
{
  "metering_template" : {
    "order" : 0,
    "index_patterns" : [
      "df_*_metering"
    ],
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
      "dynamic_templates" : [
        {
          "strings_as_keywords" : {
            "mapping" : {
              "type" : "keyword"
            },
            "match_mapping_type" : "string"
          }
        }
      ],
      "date_detection" : false,
      "properties" : {
        "count" : {
          "type" : "long"
        },
        "time" : {
          "type" : "date"
        }
      }
    },
    "aliases" : { }
  }
}

3.创建索引

PUT /df_test_metering

4.查看索引

GET /df_test_metering  //可以看到df_test_metering符合格式"index_patterns": ["df_*_metering"],所以匹配上面创建的模板
{
  "df_test_metering" : {
    "aliases" : { },
    "mappings" : {
      "dynamic_templates" : [
        {
          "strings_as_keywords" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "keyword"
            }
          }
        }
      ],
      "date_detection" : false,
      "properties" : {
        "count" : {
          "type" : "long"
        },
        "project" : {
          "type" : "keyword"
        },
        "time" : {
          "type" : "date"
        }      }
    },
  }
}

5.导入数据

PUT /df_test_metering/_doc/3     //PUT导入数据需要指定id
{
   "project": "event",
   "count":  44,
   "time":"2022-03-29"
}

POST /df_test_metering/_doc     //POST导入数据系统分配id
{
   "project": "event",
   "count":  44,
   "time":"2022-03-29"
}

6.查看字段属性

GET /df_test_metering/_mapping
{
  "df_test_metering" : {
    "mappings" : {
      "dynamic_templates" : [
        {
          "strings_as_keywords" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "keyword"
            }
          }
        }
      ],
      "date_detection" : false,
      "properties" : {
        "count" : {
          "type" : "long"
        },
        "project" : {//可以看到,project是string,因为dynamic_templates,所以识别为keyword
          "type" : "keyword"
        },
        "time" : {
          "type" : "date"
        }      }
    }
  }
}

7.查询数据

查询条件:
GET /df_test_metering/_search
{
  "aggs": {
		"count": {
			"aggs": {
				"sum_count": {
					"sum": {//max,min,value_count(count函数)函数
						"field": "count"
					}
				}
			},
			"terms": {//group by project
				"field": "project"
			}
		}
	},
	"size":0//设置为0,不返回_source
}
查询结果:
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 6,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]//因为查询添加size设置为0,索引不返回_source
  },
  "aggregations" : {
    "count" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "logging",
          "doc_count" : 3,
          "sum_count" : {
            "value" : 68.0
          }
        },
        {
          "key" : "event",
          "doc_count" : 2,
          "sum_count" : {
            "value" : 38.0
          }
        }
      ]
    }
  }
}

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-01 23:28:20  更:2022-04-01 23:30:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/20 18:30:15-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码