IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> elasticsearch数据迁移/基本操作 -> 正文阅读

[大数据]elasticsearch数据迁移/基本操作

1.创建index(database)

curl -XPUT 'http://url:9200/index_name?pretty'
{
    "settings": {
		"number_of_shards": 32,
		"number_of_replicas": 1
	}
}


?

2.查看创建好的索引(database)信息

curl -XGET 'http://url:9200/index_name?pretty'


3.修改settings

curl -XPUT 'http://url:9200/index_name/_settings?pretty'

{
? ? "index" : {
? ? ? ? "number_of_replicas" : 1
? ? }
}

4.创建type(table)

curl -XPUT 'http://url:9200/index_name/_mapping/type_name?pretty'
{?? ?
? ? "index_name": {
?? ??? ?"dynamic": "false",
?? ??? ??? ?"properties": {
?? ??? ??? ??? ?"is_hide": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"summary": {
?? ??? ??? ??? ??? ?"analyzer": "standard",
?? ??? ??? ??? ??? ?"type": "text"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"image": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"classify_id": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"editTime": {
?? ??? ??? ??? ??? ?"format": "yyyy-MM-dd HH:mm:ss",
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "date"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"version": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"is_top": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"tags": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"auto_id": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "long"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"top_end_time": {
?? ??? ??? ??? ??? ?"format": "yyyy-MM-dd HH:mm:ss",
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "date"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"infoSWordStatus": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"wiki_info_id": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "long"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"r_version": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"name": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"secret_class": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"infoSWord": {
?? ??? ??? ??? ??? ?"analyzer": "standard",
?? ??? ??? ??? ??? ?"type": "text"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"classifyName": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "keyword"
?? ??? ??? ??? ?},
?? ??? ??? ??? ?"read_count": {
?? ??? ??? ??? ??? ?"store": true,
?? ??? ??? ??? ??? ?"type": "integer"
?? ??? ??? ?}
?? ?}
}
}

5.按照条件筛选 reindex

curl -XPOST 'http://url:9200/_reindex'
{
? ? "source": {
? ? ? ? "index": "源index",
? ? ? ? "type": "源index",
? ? ? ? "size": "10000",
? ? ? ? "query": {
? ? ? ? ? ? "range": {
? ? ? ? ? ? ? ? "auto_id": {
? ? ? ? ? ? ? ? ? ? "lte": 500
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
? ? },
? ? "dest": {
? ? ? ? "index": "新index",
? ? ? ? "type": "新index",
? ? ? ? "op_type": "create"
? ? }
}


6.删除索引全部数据

curl -XPOST 'http://url:9200/index_name/type_name/_delete_by_query?pretty
{
? ? "query" : {?
? ? ? ? "match_all" : {}
? ? }
}

6.1批量删除数据

curl -XPOST 'http://url:9200/index_name/type_name/_delete_by_query?pretty'
{
? ? "query": {
? ? ? ? ? ? "range": {
? ? ? ? ? ? ? ? "pubtime": {
? ? ? ? ? ? ? ? ? ? "gte": "2021-01-01 00:00:00",
? ? ? ? ? ? ? ? ? ? "lt":"2021-02-01 00:00:00"
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
}


7.查看所有模板

curl -XGET http://url:9200/_cat/templates?pretty

8.查看某一个模板

?
curl -XGET http://url:9200/_template/mblog_info_merged_template?pretty

?

9.删除某一个模板

curl -XDELETE http://url:9200/_template/proj-zx-integration-template_appdata

10.修改配置

curl -XPUT http://10.129.194.1:9200/index_name/_settings -d?
'{"index.number_of_replicas": 5}'?

11.一个ES索引由若干个分片组成,一个分片有若干个Lucene分段,较大的Lucene分段可以更有效的存储数据。

使用_forcemergeAPI 来对分段执行合并操作,通常,我们将分段合并为一个单个的分段:max_num_segments=1

11.1查看某个index的forceMerge情况?

GET /_cat/segments/myindex?v&s=prirep,shard

11.2首先查看我们的index(可以使用正则匹配)当前有多少个segment:

GET _cat/segments/myindex?v&h=shard,segment,size,size.memory


返回结果大约有300个segment条目数。

11.3执行forcemerge:

POST myindex/_forcemerge?max_num_segments=1


这个过程可能执行的时间比较久。

11.4查看各个节点forceMerge的线程数:

GET _cat/thread_pool/force_merge?v&s=name

11.5查看所有index的segment(段)情况和正在进行merge的文档数:

GET /_cat/indices/?s=segmentsCount:desc&v&h=index,segmentsCount,segmentsMemory,memoryTotal,mergesCurrent,mergesCurrentDocs,storeSize,p,r


从返回结果可以看到当前正在进行myindexmerge操作,segmentsCount数量会越来越小。最终会变成每个分片只有一个segment。

11.6查看forceMerge任务详情

GET _tasks?detailed=true&actions=*forcemerge

12.查看索引情况

http://url:9200/_cat/indices?v


?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-31 16:42:40  更:2021-07-31 16:44:52 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/4 16:08:59-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码