1916290141 大数据一班 王多佳
一、数据粒度转换
使用Kettle工具创建转换，并添加“文本文件输入”控件、“表输入”控件、“字段选择”控件、“排序记录”控件、“记录集连接”控件、“表输出”控件以及Hop跳连接线，如下图所示
配置“文本文件输入”控件，如下图所示
?配置”字段选择“控件，如下图所示
配置“排序记录”控件，如下图所示
配置“表输入”控件，编写SQL语句，用于查询city数据表中字段city和pid的数据，用于与personnel_data.txt文件中household_register字段进行合并连接，如下图所示
?
配置“排序记录2”控件，如下图所示
配置“记录集连接”控件，如下图所示
?配置“字段选择2”控件，如下图所示
配置“排序记录3”控件，如下图所示
配置“表输入2”控件，编写SQL语句，用于查询provincial数据表中字段provincial和pid的数据，用于与household_register字段进行合并连接，如下图所示
配置“排序记录4”控件，如下图所示
配置“记录集连接2”控件，如下图所示
配置“字段选择3”控件，如下图所示
配置“表输出”控件，如下图所示
使用Kettle工具新建转换generalization_merge，如下图所示
配置表输入控件，如下图所示
配置字段选择控件，如下图所示
配置排序记录控件，如下图所示
配置文本文件输入控件，如下图所示
配置字段选择2控件，如下图所示
配置排序记录2控件，如下图所示
配置记录集连接控件，如下图所示
配置字段选择3控件，如下图所示
配置文本文件输出控件，如下图所示
使用Kettle工具，创建一个作业generalization，如下图所示
?
配置转换控件，如下图所示?
配置转换2控件，如下图所示
?运行作业generalization，单击作业工作区顶部的start按钮，运行作业generalization。查看文本文件personnel_data_new.txt中的数据，如下图所示
二、进行商务规划计算
使用Kettle工具，创建一个转换monthly_salary，如下图所示
配置文本文件输入控件，如下图所示
?配置增加常量控件，如下图所示、
配置计算器控件，如下图所示
?配置文本文件输出控件，如下图所示
?运行转换，如下图所示
?查看文本文件personnel_data_monthly_salary.txt中的数据、
?注意：在做字段映射过程中，应该非常注意映射的两字段类型是否相同，改名后可能造成混淆
?
?