IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 2021-10-11 -> 正文阅读

[大数据]2021-10-11

Kettle抽取CSV文件、抽取JSON文件

抽取CSV文件

  1. CSV数据转存的特定实现规则
实现规则
文件开头不能留空,以“行”为单位
文件可含或不含列名,若含有列名,则位于文件第一行
文件中的一行数据不能跨行,行与行之间不可存在空格
文件中以英文半角逗号(即“,”)作为分隔符,若列为空,也要表达列的存在
文件中的列的内容,若存在英文半角单引号,则替换成半角双引号进行转义,因为在抽取数据时,通过使用半角双引号将所有的字符串内容引起来
在文件读写时,引号和逗号操作规则可以互逆
文件中的编程格式不做吸纳之,可以时ASCII,也可以是Unicode或者UTF-8等编码格式
文件中不支持数字或者特殊符号
  1. 转换步骤
    打开Kettle工具创建一个转换,如图一所示:
    图一 创建转换
    配置“CSV文件输入”控件最后结果界面如图二所示:
    图二 完成“CSV文件输入”控件配置结果图
    数据预览图如图三所示:
    图三 数据预览图
    配置“表输出”控件成功界面如图四所示:
    图四
    通过SQLyog查看数据表成功插入数据的结果如图五所示:
    图五
  2. 注意:做转换前数据库和表均应提前创建
    创建数据库参考代码:
    创建数据库即切换数据库代码
    创建表参考代码:
    创建csv_extract表参考代码

抽取JSON文件

  1. 打开Kettle创建转化如图八所示:
    图八
  2. 配置JSON input 控件
    图九
    图十
  3. JSON input 2 控件的配置(与JSON input 相似)
  4. 配置“表输出”控件
    图十一
  5. 通过SQLyog工具查看json插入数据的结果
    图十二
  6. JSON表也需提前创建,参考代码如下:
    图十三
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-12 23:31:26  更:2021-10-12 23:32:17 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:13:22-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码