IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 数据转换之数据清洗 -> 正文阅读

[大数据]数据转换之数据清洗

一、实现对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。
(1)打开Kettle工具,新建转换
使用Kettle工具,创建一个转换generalization,并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。
在这里插入图片描述
(2)配置文本文件输入控件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(3)配置字段选择控件
双击图中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称。
在这里插入图片描述
(4)配置排序记录控件
双击“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序。
在这里插入图片描述
(5)配置表输入控件
双击图中的“表输入”控件,进入“表输入”界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置。
在这里插入图片描述
(6)配置排序记录2控件
双击图中的“排序记录 2”控件,进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序。
在这里插入图片描述
(7)配置记录集连接控件
在这里插入图片描述
(8)配置字段选择2控件
双击图中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接流中的字段household_register和pid。
在这里插入图片描述
(9)配置排序记录3控件
双击图中的“排序记录 3”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序。
在这里插入图片描述
(10)配置表输入2控件
双击图中的“表输入2”控件,进入“表输入2”界面。
在这里插入图片描述
(11)配置排序记录4控件
双击图中的“排序记录 4”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序。
在这里插入图片描述
(12)配置记录集连接2控件
在这里插入图片描述
(13)配置字段选择3控件
双击图中的“字段选择3”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接2流中的字段household_register和Provincial。
在这里插入图片描述
(14)配置表输出控件
双击图中的“表输出”控件,进入“表输出”配置界面。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20211022231120560.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzZGZnaGprbDA2MTA=,size_16,color_FFFFFF,t_70
(15)打开Kettle工具,新建转换
使用Kettle工具,创建一个转换generalization_merge,并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线。
在这里插入图片描述
(16)配置表输入控件
双击图中的“表输入”控件,进入“表输入”界面。
在这里插入图片描述
在这里插入图片描述
(17)配置字段选择控件
双击图中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称。
在这里插入图片描述
(18)配置排序记录控件
双击图中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序。
在这里插入图片描述
(19)配置文本文件输入控件
双击图中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization_merge转换中。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(20)配置字段选择2控件
双击图中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称。
在这里插入图片描述
(21)配置排序记录2控件
双击图中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序。
在这里插入图片描述
(22)配置记录集连接控件
在这里插入图片描述
(23)配置字段选择3控件
双击图中的“字段选择3”控件,进入“字段选择”界面,在“选择和修改”选项卡处添加字段名称,并将字段household_register_new改为household_register。
在这里插入图片描述
(24)配置文本文件输出控件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(25)打开Kettle工具,新建作业
使用Kettle工具,创建一个作业generalization,并添加Start控件、转换控件、成功控件以及Hop作业项连接线。
在这里插入图片描述
(26)配置转换控件
双击图中的“转换”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换generalization。
在这里插入图片描述
(27)配置转换2控件
双击图中的“转换2”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换generalization_merge。
在这里插入图片描述
(28)运行作业generalization
单击作业工作区顶部的运行按钮,运行作业generalization,实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。
在这里插入图片描述
二、对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。
(1)打开Kettle工具,新建转换
使用Kettle工具,创建一个转换monthly_salary,并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线。
在这里插入图片描述
(2)配置文本文件输入控件
双击图中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data_new.txt文件;单击【增加】按钮,将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中。
在图中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符。
在图中,单击“字段”选项卡,根据personnel_data_new.txt文件的内容添加对应的字段名称,并指定数据类型。
在这里插入图片描述
在这里插入图片描述
(3)配置增加常量控件
双击图中的“增加常量”控件,进入“增加常量”界面,在字段框中添加一个字段days,并给定一个值22。
在这里插入图片描述
(4)配置计算器控件
双击图中的“计算器”控件,进入“计算器”界面,在字段框中添加一个字段monthly_salary,用于存储月薪,该字段是由字段days和salary进行相乘所得。
在这里插入图片描述
(5)配置文本文件输出控件
双击图中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_monthly_salary;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符,并在编码处的下拉框选择“UTF-8”编码;单击“字段”选项卡,进入“字段”界面,添加要输出的字段。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(6)运行转换monthly_salary
单击转换工作区顶部的运行按钮,运行转换monthly_salary,实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。从图中的执行结果来看,即每个控件的右上角均有“√”,则说明转换monthly_salary执行成功。在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-23 12:34:35  更:2021-10-23 12:34:43 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 3:45:32-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码