IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Kettle:CSV文件、JSON文件数据的抽取 -> 正文阅读

[大数据]Kettle:CSV文件、JSON文件数据的抽取

目录

1.CSV文件的数据抽取

2.JSON文件的数据抽取


1.CSV文件的数据抽取

打开Kettle,依次点击 文件 -> 新建 -> 转换,创建新转换(保存可修改转换名)。点击核心对象,展开输入步骤,选中CSV文件输入控件,拖入Kettle工作区;展开输出步骤,选中表输出控件,拖入Kettle工作区,并用Hop跳线连接两个控件(Ctrl同时选中两个控件,单击右键,新建节点连接):

?配置CSV文件输入控件。双击CSV文件控件,可出现如下界面:

单击“浏览”,可选择要抽取的CSV文件,本次抽取的文件名为csv_extract.csv,大致内容如下:

单击“获取字段”,Kettle将自动检索该CSV文件,并对文件中的字段类型、格式、长度、精度等属性进行分析。单击“预览”,可查看CSV文件中的数据是否成功抽到CSV文件输入流中:

单击“确定”,CSV文件输入控件配置完成。?

配置“表输出”控件。双击“表输出”控件,可进入如下界面:

?单击“新建”,配置数据库连接连接,此处的数据库名为extract,需要提前在SQLyog建立(两处用户名与密码相同)。配置内容如下:

?可点击“测试”观察是否成功连接上数据库:

?成功连接上数据库之后,点击”确认“会返回上一界面,单击“目标表”后的“浏览”,会出现如下界面(展开数据库,展开表,选择CSV):

?

?单击“确定”,返回上一界面,将“指定数据库”打钩,选择“数据库字段”,可直接点击“获取字段”,也可选择“输入字段映射”,弹出“映射匹配”对话框,依次选中“源字段”和“目标字段”中的字段,点击“Add"即可,效果如下:

到此所有控件配置完成,点击运行按钮即可。可通过SQLyog查看数据表CSV是否成功插入数据:

?至此,成功抽取CSV文件csv_extract.csv中的数据保存至数据库extract中的数据表csv中。

?

2.JSON文件的数据抽取

创建新转换,步骤同上(此处的JSON Input控件位于Input步骤中),此处不再赘述。效果如下:

配置JSON Input 控件。双击进入JSON Input输入界面,点击“浏览”选择要抽取的JSON文件:

?

?点击“增加”,将所选择的文件添加到“选中的文件”处,点击“字段”,进入其界面,添加要抽取的数据字段(这里采用分层抽取数据字段,先抽取id和data字段,再从data中抽取field和value字段),最后点击确定完成JSON Input控件的配置:

配置JSON Input2控件。双击进入其界面,勾选“源定义在一个字段里?”复选框;在“从字段获取源”后的下拉列表中?选择字段名,即data:

?进入“字段”选项卡,操作与JSON Input 相同,从data中抽取field和value字段,点击确定完成JSON Input2控件配置:

?配置“表输出”控件。与上述CSV文件数据的抽取操作步骤完全相同,不做过多赘述,效果如下:

?在SQLyog查看数据表json中的数据:

?至此,成功抽取JSON文件json_extract.js中的数据保存至数据库extract中的数据表json中。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-09 16:21:04  更:2021-10-09 16:22:08 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:12:50-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码