安装Azkaban
https://github.com/azkaban/azkaban 解压db、web、exec压缩包到指定目录。 并修改适合的文件名。
配置Mysql
创建azkaban数据库
create database azkaban;
创建Azkaban用户并赋权限
# 创建用户
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123123';
# 赋予用户增删改查权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
创建azkaban表
use azkaban;
source /opt/module/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;
更改Mysql传输包大小,并重启Mysql
# 修改mysql配置文件
vim /etc/my.cnf
# 在[mysqld]下添加一行
max_allowed_packet=1024M
# 保存退出,并重启mysql
sudo systemctl restart mysql
配置 Executor Server
修改azkaban.properties文件
vim /opt/module/azkaban/azkaban-exec/conf/azkaban.properties
default.timezone.id=Asia/Shanghai
# 修改下面参数的值
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop005:8081
mysql.host=Hadoop003
mysql.password=123123
# 添加下面参数和值
executor.port=12321
修改完成后将exec文件夹发送到集群其他节点
xsync /opt/module/azkaban-3.84.4/azkaban-exec-3.84.4/
启动Exec
在每个节点的azkaban-exec-3.84.4目录中执行命令
bin/start-exec.sh
启动成功
=============== Hadoop003 ===============
5081 Jps
5066 AzkabanExecutorServer
=============== Hadoop004 ===============
1941 AzkabanExecutorServer
1963 Jps
=============== Hadoop005 ===============
2467 Jps
2426 AzkabanExecutorServer
激活executor
curl -G "Hadoop003:12321/executor?action=activate" &&
echo
url -G "Hadoop004:12321/executor?action=activate" &&
echo
url -G "Hadoop005:12321/executor?action=activate" &&
echo
三个节点都响应成功
{"status":"success"}
配置 Web Server
修改azkaban.properties文件
vim /opt/module/azkaban-3.84.4/azkaban-web-3.84.4/conf/azkaban.properties
# 修改如下参数的值
default.timezone.id=Asia/Shanghai
mysql.host=Hadoop003
mysql.password=123123
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
MinimumFreeMemory:内存占用情况,不少于6G。测试环境,必须将 MinimumFreeMemory 删除掉,否则它会认为集群资源不够,不执行。
修改azkaban-users.xml 文件
vim /opt/module/azkaban-3.84.4/azkaban-web-3.84.4/conf/azkaban-users.xml
# 在主标签中添加user标签,即添加一个用户,此用户的角色为admin
<user password="123123" roles="admin" username="loftiest"/>
启动web
# 在azkaban-web-3.84.4目录下执行命令
bin/start-web.sh
# jps查看是否启动
3171 AzkabanWebServer
2426 AzkabanExecutorServer
3182 Jps
进入azkaban的web页面查看是否能正常进入
|