| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Kettle:CSV文件、JSON文件数据的抽取 -> 正文阅读 |
|
[大数据]Kettle:CSV文件、JSON文件数据的抽取 |
目录 1.CSV文件的数据抽取打开Kettle,依次点击 文件 -> 新建 -> 转换,创建新转换(保存可修改转换名)。点击核心对象,展开输入步骤,选中CSV文件输入控件,拖入Kettle工作区;展开输出步骤,选中表输出控件,拖入Kettle工作区,并用Hop跳线连接两个控件(Ctrl同时选中两个控件,单击右键,新建节点连接): ?配置CSV文件输入控件。双击CSV文件控件,可出现如下界面: 单击“浏览”,可选择要抽取的CSV文件,本次抽取的文件名为csv_extract.csv,大致内容如下: 单击“获取字段”,Kettle将自动检索该CSV文件,并对文件中的字段类型、格式、长度、精度等属性进行分析。单击“预览”,可查看CSV文件中的数据是否成功抽到CSV文件输入流中: 单击“确定”,CSV文件输入控件配置完成。? 配置“表输出”控件。双击“表输出”控件,可进入如下界面: ?单击“新建”,配置数据库连接连接,此处的数据库名为extract,需要提前在SQLyog建立(两处用户名与密码相同)。配置内容如下: ?可点击“测试”观察是否成功连接上数据库: ?成功连接上数据库之后,点击”确认“会返回上一界面,单击“目标表”后的“浏览”,会出现如下界面(展开数据库,展开表,选择CSV): ? ?单击“确定”,返回上一界面,将“指定数据库”打钩,选择“数据库字段”,可直接点击“获取字段”,也可选择“输入字段映射”,弹出“映射匹配”对话框,依次选中“源字段”和“目标字段”中的字段,点击“Add"即可,效果如下: 到此所有控件配置完成,点击运行按钮即可。可通过SQLyog查看数据表CSV是否成功插入数据: ?至此,成功抽取CSV文件csv_extract.csv中的数据保存至数据库extract中的数据表csv中。 ? 2.JSON文件的数据抽取创建新转换,步骤同上(此处的JSON Input控件位于Input步骤中),此处不再赘述。效果如下: 配置JSON Input 控件。双击进入JSON Input输入界面,点击“浏览”选择要抽取的JSON文件: ? ?点击“增加”,将所选择的文件添加到“选中的文件”处,点击“字段”,进入其界面,添加要抽取的数据字段(这里采用分层抽取数据字段,先抽取id和data字段,再从data中抽取field和value字段),最后点击确定完成JSON Input控件的配置: 配置JSON Input2控件。双击进入其界面,勾选“源定义在一个字段里?”复选框;在“从字段获取源”后的下拉列表中?选择字段名,即data: ?进入“字段”选项卡,操作与JSON Input 相同,从data中抽取field和value字段,点击确定完成JSON Input2控件配置: ?配置“表输出”控件。与上述CSV文件数据的抽取操作步骤完全相同,不做过多赘述,效果如下: ?在SQLyog查看数据表json中的数据: ?至此,成功抽取JSON文件json_extract.js中的数据保存至数据库extract中的数据表json中。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 1:12:50- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |