IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> PHP知识库 -> 黑马程序员《数据清洗》学习笔记kettle -> 正文阅读

[PHP知识库]黑马程序员《数据清洗》学习笔记kettle

3.1? Kettle

3.1.1?Kettle概述

Kettle是一款国外免费开源的轻量级ETL工具,是基于Java语言开发的,可以在Windows、Linux、UNIX系统上运行,并且是绿色无需安装的,可用于各种数据库之间数据的迁移。
Kettle工具主要由4个组件组成,分别是SpoonPan、Kitchen及Carte组件,具体功能介绍如下。
????????.?Spoon?是Kettle的集成开发环境,它会提供一个基于SWT的图形用户界面,主要用
于构建ETL?Jobs(作业)和Transformations(转换),也可用于执行或调试作业、转换,还可用于监控ETL操作的性能。
????????.?Pan?是以命令行的方式(即编写Shell?脚本)执行Spoon生成的Transformations程序,运行在后台,并且该组件没有图形化用户界面。
????????.Kitchen是以命令行的方式(即编写Shell脚本)执行Spoon生成的Jobs程序,运行在后台,并且该组件没有图形化用户界面。
????????.?Carte是Kettle中的一个重要组件,它是基于Jetty的轻量级HTTP服务器,运行在后台,主要用于远程监控HTTP执行Jobs和Transformations的进度。

3.1.2? Kettle的设计原则

1.? 易于开发

2.? 避免自定义开发

3.? 所有功能都能通过用户界面完成

4.? 没有命名限制

5.? 透明

6.? 灵活的数据通道??

7.? 只映射需要映射的字段

3.2? Kettle的下载安装

3.3? Kettle的基本概念

Kettle工具的执行分为两个层次:转换和作业。

3.3.1? 转换

转换是ETL解决方案中最重要的组成部分之一,主要用于数据的抽取、转换以及记载等操作,其本质是一组图形化的数据转换配置的逻辑结构。转换中的步骤通过跳来连接。

双击Kettle目录下的Spoon.bat脚本,启动Kettel工具,如图3-1。

?图 3-1

在工具栏处选择“文件”?“新建 ”?“转换”命令,创建一个转换,名称默认为“转换1”,如图3-2。

?图 3-2

在图3-2中选择“文件”?“保存”命令,可以对转换进行重命名以及选择转换保存路径,重命名转换为example,如图3-3。

??图 3-3

在Kettle主界面的工作区右击空白处,从弹出的快捷菜单中选择“新建注释”命令,添加注释;单击“输入”,将“表输入”拖曳到Kettle的工作区;单击“输出”,将“文本文件输出”也拖曳到Kettle的工作区;按住Ctrl的同时选中“表输入”和“文本文件输出”并右击,然后选择“新建节点连接”命令,选择“起始步骤”和“目标步骤”,单击“确认”按钮,建立“表输入”向“文本文件输出”的连接,如图3-4。

?图 3-4

3.3.2? 作业

一个作业包含一个或者多个作业项,这些作业项都是以某种顺序进行执行的,执行顺序由作业项之间的跳和每个作业项的执行结果决定。

双击Kettle目录下的Spoon.bat脚本,启动Kettel工具,选择“文件”?“新建 ”?“作业”命令,创建一个作业,名称默认为“作业1”,如图3-5。

?图 3-5

在图3-5中选择“文件”?“保存”命令,可以对作业进行重命名以及选择作业保存路径,重命名转换为example_job,如图3-6。

?图 3-6

在Kettle主界面的工作区右击空白处,从弹出的快捷菜单中选择“新建记录”命令,添加注释;单击“通用”,将Start和“作业”拖曳到Kettle的工作区;单击“邮件”,将“发送邮件”拖曳到Kettle工作区;然后同时选中Start和“作业”右击,选择“新节点”命令,建立Start和“作业”的连接,同样操作将“作业”和“作业”、“作业”与“发送邮件”之间也建立连接,如图3-7、3-8。

?图 3-7

图 3-8

?

  PHP知识库 最新文章
Laravel 下实现 Google 2fa 验证
UUCTF WP
DASCTF10月 web
XAMPP任意命令执行提升权限漏洞(CVE-2020-
[GYCTF2020]Easyphp
iwebsec靶场 代码执行关卡通关笔记
多个线程同步执行,多个线程依次执行,多个
php 没事记录下常用方法 (TP5.1)
php之jwt
2021-09-18
上一篇文章      下一篇文章      查看所有文章
加:2021-09-18 09:51:10  更:2021-09-18 09:53:31 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 7:14:13-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码