IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> logstash-es数据搬迁到es上 -> 正文阅读

[大数据]logstash-es数据搬迁到es上

input {
    stdin{
    }
    elasticsearch {
	    type => "type类型和output的type类型保持一致"
        hosts => ["http://es输入数据ip:es输入数据端口"]
        user => "用户名"
        index => "es上的索引"
        password => "密码"       
		#设置为true,将会提取ES文档的元数据信息,例如index、type和id。
        docinfo => true
    }

}

output {
	
	if [type]=="customer_data_py" {
		elasticsearch {
			hosts => ["http://es目标数据ip:es目标数据端口"]
			user => 用户名
			password => 密码        
			#指定同步索引名。input中设置为*,表示同步全部索引;
			#output中设置为%{[@metadata][_index]},表示匹配元数据中的index,即迁移前后两台服务器ES的索引相同。
			index => "%{[@metadata][_index]}"       
			
			#设置为%{[@metadata][_type]},
			#表示匹配元数据中索引的type,即迁移前后ES服务器的索引类型相同。
			document_type => "%{[@metadata][_type]}"      
			#设置为%{[@metadata][_id]},
			#表示匹配元数据中文档的id,即迁移前后ES服务器的文档id相同。
			document_id => "%{[@metadata][_id]}"
		}
	}

    stdout {
        codec => json_lines
    }
    
}

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-07 00:01:57  更:2021-07-07 00:02:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/1 9:53:03-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码