7.1?数据加载机制
数据的加载机制与数据的抽取机制相类似，数据的加载机制可以分为全量加载和增量加载。其中，全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。
7.1.1?全量加载
案例实现
数据准备
假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。数据表full_source和full_target的内容如图1、图2所示：
图1??数据表full_source
?图2?数据表full_target
1.打开Kettle工具，创建转换
使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图3所示：
图3??创建转换full_load
2.配置执行SQL脚本控件
双击“执行SQL脚本”控件，进入“执行SQL语句”界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。MySQL数据库连接的配置,如图4所示；在SQL框中编写删除数据表full_target中数据的SQL语句，如图5所示：
?图4?配置数据库连接
图5?编写SQL语句?
3.配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，在SQL框中编写查询full_source数据表的SQL语句，单击"预览"按钮，查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中，如图所示如图6所示：
?图6?编写SQL语句和预览数据
4.配置表输出控件
双击“表输出”控件，进入“表输出”配置界面；单击目标表处的"浏览"按钮，选择输出的目标表，即数据表full_target，这里不需要新建数据库连接，只需要选择已创建的数据库连接即可，如图7所示:
?图7?选择目标表full_load
5.运行转换full_load
单击转换工作区顶部的
按钮，运行创建的转换full_load，实现将数据表full_source中的数据全量加载到数据表full_target中，如图8所示:
?图8?运行转换full_load
6.查看数据表full_target中的数据
通过SQLyog工具，查看数据表full_target是否已成功加载到数据，查看结果如图9所示:
图9??数据表full_targe
7.1.2?增量加载
案例实现
数据准备
假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的，具体如图10、图11所示：
图10??数据表incremental_source
?图11?数据表incremental_target
1.打开Kettle工具，创建转换
使用Kettle工具，创建一个转换incremental_load，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图12所示：
?图12?创建转换incremental_load
2.配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。MySQL数据库连接的配置，具体如图13所示:
?图13?MySQL数据库连接的配置
在SQL框中编写查询数据表incremental_source的SQL语句，然后单击"预览"按钮，查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中，具体如图14所示:
?图14?编写SQL语句和预览数据
3.配置插入/更新控件
双击“插入/更新”控件，进入“插入/更新”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。单击目标表处的"浏览"按钮，弹出“数据库浏览器”窗口，选择目标表incremental_target，单击"获取字段"按钮，用来指定查询数据所需要的关键字，这里通过比较数据表incremental_target的字段id与输入流里的字段id是否一致为关键条件，更新数据表中的其它字段数据；单击"获取和更新字段"按钮，用来指定需要更新的字段，具体如图15所示:
?图15?配置“插入/更新”控件
4.修改数据表incremental_source中的数据
在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据；对数据表incremental_source中id为2的数据进行修改，即将这条数据的年龄（age）改为25。修改后的数据表incremental_source中的数据内容如图16所示:
?
?图16?修改后的数据表incremental_source
5.运行转换incremental_load
单击转换工作区顶部的?按钮，运行创建的转换incremental_load，实现将数据表incremental_source中的数据增量加载到数据表incremental_target中，如图17所示:
?图17?运行转换incremental_load
6.查看数据表incremental_target中的数据
通过SQLyog工具，查看数据表incremental_target是否已成功加载到数据，查看结果如图18所示:
?图18?数据表incremental_target
7.2?数据的批量加载
通常情况下，对于几千条甚至几十万条记录的数据迁移而言，采取DML（即数据操纵语言）的INSERT语句能够很好地将数据迁移到目标数据库中。然而，当数据迁移量过于庞大时，就不能使用INSERT语句，因为执行INSERT、UPDATE以及DELETE语句的操作都会生成事物日志，事物日志的生成会减慢加载的速度，故需要针对数据采取批量加载操作。
案例实现
数据准备
假设，现有一个CSV格式的微博用户信息文件weibo_user.csv，其中包含了用户id、用户名称、用户性别、用户简介等字段，文件weibo_user.csv的具体内容如图19所示（这里只截取了部分数据）：
?图19?数据表weibo_user.csv
1.打开Kettle工具，创建转换
使用Kettle工具，创建一个转换batch_load，并添加执行CSV文件输入控件、表输出控件以及Hop跳连接线，具体如图20所示：
图20??创建转换batch_load
2.配置CSV文件输入控件
双击“CSV文件输入”控件，进入“CSV文件输入”配置界面，在“文件名”处单击"浏览"按钮，选择要抽取的CSV文件weibo_user.csv；单击"获取字段"按钮，让Kettle自动检索CSV文件，并对文件中字段的类型、格式、长度、精度等属性进行解析，如图21所示，单击"预览"按钮，查看CSV文件weibo_user.csv的数据是否抽取到CSV文件输入流中,具体如图22所示：
图21? 配置“CSV文件输入”控件
?图22?预览数据
3.配置表输出控件
双击“表输出”控件，进入“表输出”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。数据库连接的配置，具体如图23所示:
?图23?数据库连接的配置
单击目标表右侧的"浏览"按钮，选择输出的目标表，即数据表weibo_user；勾选“指定数据库字段”的复选框，用于将weibo_user数据表的字段与weibo_user.csv文件中的字段进行匹配；勾选“使用批量插入”的复选框，用于批量加载数据至目标表中，选择“数据库字段”选项卡，单击"输入字段映射"按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击"Add"按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击"猜一猜"按钮，让Kettle自动实现映射，如图24所示:
?图24?设置映射匹配
单击映射匹配对话框的“”确定“”按钮，“表输出”界面最终显示的效果，具体如图25所示：
?图25?“表输出”控件的配置效果
4.运行转换batch_load
单击转换工作区顶部的?按钮，运行创建的转换batch_load，实现将CSV文件weibo_user.csv中的数据批量加载到数据表weibo_user中，“表输出”界面最终显示的效果如图26所示：
?图26?运行转换batch_load
5.查看数据表weibo_user中的数据
通过SQLyog工具，查看数据表weibo_user是否已成功加载到数据，查看结果如图27所示：
?图27?数据表weibo_user