[大数据]kettle学习

下载地址

- [百度网盘](https://pan.baidu.com/s/1b3MlVP2uF5OqPRMLbJf2Lg)
- [sourceforge](https://sourceforge.net/projects/pentaho/files/)

配置:

1. java_home的配置
2. 数据库连接配置,放在lib文件夹下,jar包版本与kettle版本相对,[8.2版本对应数据库jar包版本](https://help.hitachivantara.com/Documentation/Pentaho/8.2/Setup/JDBC_Drivers_Reference)

示例

数据导出为excel

1. 输入中拖出表输入,双击控件,新建一个数据源,填写数据库信息,下方sql填写查询sql语句,
   
2. 输出中拖出excel输出,双击控件选择字段,选择获取字段自动sql中的输出的字段
   

• 无法自动获取字段,鼠标移动到表输入上,将两个控件连接:
  

oracle 数据同步到mysql

1. 还是表输入控件,双击控件,新建数据源,查询sql,说一下oracle数据库的连接(使用的是oracle11g)
   
   2.[使用插入更新控件] 选择输出中的插入/更新控件,选择数据源,这里可以执行更新(根据什么字段更新,下面选择需要插入更新什么字段)
   
2. [使用表输出控件]选择数据源,字段映射
   
3. 区别与使用场景(具体可参考kettle插入\更新,更新,表输出的区别)
   • 插入更新可以过滤重复数据,表输出不行
   • 表输出的效率更高
   • 表输出适用于数据量较大的初始化,插入更新适用于增量

liunx上操作