IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 【kettle】kettle调度方式 -> 正文阅读

[大数据]【kettle】kettle调度方式

Kettle自身调度

在主调度作用的start上设置作业的定时调度后启动该调度即可
需要时刻保持kettle打开,以及资源库连接,不建议使用
在这里插入图片描述

Windows定时任务调度

在kettle部署的Windows采集机器上设置Windows定时任务执行kettle的bat文件即可
Bat文件内容如下

@echo off
rem 选择自己安装的kettle目录,示例为D:\kettle\data-integration
D:
cd D:\kettle\data-integration
rem 默认读取的是C盘用户目录下的.kettle文件夹中的repositories.xml
rem 若上述的.kettle目录做过处理,需先设置环境变量[set KETTLE_HOME=.kettle目录路径];若没有动过则无需变化
Kitchen.bat -rep=资源库名称 -user=资源库的用户名 -pass=资源库的密码 -dir=要执行的作业所在资源库的目录(/ETL/) -job=执行作业的名称(不用带后缀) -level=basic>D:\kettle\job.log
exit

各项参数说明
-rep:资源库名称
-user:资源库的用户名
-pass:资源库的密码
-dir:要执行的作业所在资源库的目录
-file:执行作业的名称(不用带后缀)
-Level:日志级别及日志目录输出

Linux定时任务调度

Linux部署kettle

Kettle安装需先安装好jdk1.8
注意用户权限

kettle安装包上传

进入linux服务器先建立kettle的目录
示例:mkdir /home/kettle
然后将kettle安装包上传至此目录,并解压【unzip pdi-ce-9.1.0.0-324.zip】

数据库连接驱动上传

进入刚才安装好的kettle目录【cd data-integration/lib】,进入kettle的lib库目录,将自己需要的数据库驱动放置进去,数据库驱动自己下一下

配置环境变量

用哪个用户就去调整该用户根目录底下的环境变量即可
进入用户的根目录【cd ~】,然后编辑用户的.bash_profile文件
在其中添加
#kettle
KETTLE_HOME=kettle的安装目录(例如我的是/home/kettle)
PATH=$PATH:kettle的目录(例如我的是/home/kettle/data-integration)

添加完成后,执行【source .bash_profile】,使配置生效

验证安装是否成功

进入kettle的安装目录下【cd kettle/data-integration/】,执行【kitchen.sh】校验kettle是否安装成功

Linux配置kettle资源库

检查.kettle目录

在上一步执行了【kitchen.sh】后,会在用户的根目录下生成.kettle文件夹

准备资源库配置文件

在windows编辑kettle时(见上篇Kettle资源库新建和初始化配置),连接过资源库,因此在windows电脑上面已有资源库的链接配置repositories.xml
路径在windows的用户目录下的.kettle文件夹里

将此文件复制一份,并编辑修改此文件内容(数据库地址及用户密码调整确认)

注意需要将文件格式转为linux下的格式
在这里插入图片描述

将调整好的文件上传到linux服务器上的.kettle文件夹下

注意上传后,将文件权限调整为执行用户

Linux调度kettle采集

目录准备

在/kettle下新建一个job目录,用来存放编写的调度作业;新建一个log目录,用来存放调度作业生成的日志

注意文件夹权限调整为执行用户

编辑调度文件

进入刚才新建的job目录下
生成一个采集的调度文件,和上面的windows的类似,只是执行文件为kitchen.sh,示例

../data-integration/kitchen.sh -rep=资源库名称 -user=资源库的用户名 -pass=资源库的密码 -dir=要执行的作业所在资源库的目录(/ETL/)  -job=执行作业的名称(不用带后缀) -level=basic>/home/kettle/log/JOB.log 2>&1 &
exit

-rep:资源库名称,P6标准版的为pdev_kettle,改为现场的即可,对应的是上述Linux配置的kettle资源库
-user:资源库的用户名
-pass:资源库的密码
-dir:要执行的作业所在资源库的目录
-file:执行作业的名称(不用带后缀)
-Level:日志级别及日志目录输出,输出到刚才新建的log目录下

编辑完成后,设置该文件权限为777【chmod 777 job.sh】,并执行【sh job.sh】编译该sh文件

执行新建的采集调度文件

通过【./job.sh】命令执行采集调度文件
通过【ps -ef|grep kettle】命令查看正在进行的调度任务
通过【kill -9 进程号】结束调度任务

查看日志

进入刚才新建的log目录下,可查看对应的作业日志

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-06-01 15:18:23  更:2022-06-01 15:21:19 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:21:39-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码