[大数据]Azkaban3.84.4的安装教程

Azkaban3.84.4的安装教程

1、上传文件

[root@centos01 software]# ll
total 35572
-rw-r--r--. 1 root root     6433 Jun 13  2020 azkaban-db-3.84.4.tar.gz
-rw-r--r--. 1 root root 16175002 Jun 13  2020 azkaban-exec-server-3.84.4.tar.gz
-rw-r--r--. 1 root root 20239974 Jun 13  2020 azkaban-web-server-3.84.4.tar.gz

2、新建/opt/module/azkaban目录，并将所有tar包解压到这个目录下

[root@centos01 software]# mkdir /opt/apps/azkaban
[root@centos01 software]# tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/apps/azkaban/
[root@centos01 software]# tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/apps/azkaban/
[root@centos01 software]# tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/apps/azkaban/

[root@centos01 azkaban]# ll
total 4
drwxr-xr-x. 2 root root 4096 Apr 18  2020 azkaban-db-3.84.4
drwxr-xr-x. 6 root root   55 Apr 18  2020 azkaban-exec-server-3.84.4
drwxr-xr-x. 6 root root   51 Apr 18  2020 azkaban-web-server-3.84.4

# 重命名
[root@centos01 azkaban]# mv azkaban-exec-server-3.84.4/ azkaban-exec
[root@centos01 azkaban]# mv azkaban-web-server-3.84.4/ azkaban-web

3、配置MySQL

登陆MySQL，创建Azkaban数据库
mysql> create database azkaban;
设置密码有效长度4位及以上
mysql> set global validate_password_length=4;
设置密码策略最低级别
mysql> set global validate_password_policy=0;
创建Azkaban用户，任何主机都可以访问Azkaban，密码是000000
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';
赋予Azkaban用户增删改查权限 
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
创建Azkaban表，完成后退出MySQL
mysql> use azkaban;
mysql> source  /opt/apps/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;

更改MySQL包大小；防止Azkaban连接MySQL阻塞
[root@centos01 azkaban]# vim /etc/my.cnf
在[mysqld]下面加一行max_allowed_packet=1024M
[mysqld]
max_allowed_packet=1024M
重启MySQL
[root@centos01 azkaban]# systemctl restart mysqld

4、配置Executor Server

# 编辑azkaban.properties
[root@centos01 azkaban-exec]# vim ./conf/azkaban.properties
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://centos01:8081
# 添加
executor.port=12321
database.type=mysql
mysql.port=3306
mysql.host=192.168.42.101
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100

# 分发
root@centos01 azkaban]# scp -r ./azkaban-exec centos02:/opt/apps/azkaban/
root@centos01 azkaban]# scp -r ./azkaban-exec centos03:/opt/apps/azkaban/

5、启动

必须进入到/opt/apps/azkaban/azkaban-exec路径，分别在三台机器上，启动executor server
[root@centos01 azkaban-exec]# bin/start-exec.sh
[root@centos02 azkaban-exec]# bin/start-exec.sh
[root@centos03 azkaban-exec]# bin/start-exec.sh
注意：如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port文件，说明启动成功
4）下面激活executor，需要
[root@centos01 azkaban-exec]# curl -G "centos01:12321/executor?action=activate" && echo
[root@centos02 azkaban-exec]# curl -G "centos01:12321/executor?action=activate" && echo
[root@centos03 azkaban-exec]# curl -G "centos01:12321/executor?action=activate" && echo

如果三台机器都出现如下提示，则表示激活成功
{"status":"success"}

6、配置Web Server

Azkaban Web Server处理项目管理，身份验证，计划和执行触发

[root@centos01 conf]# vim azkaban.properties
修改如下属性
...
default.timezone.id=Asia/Shanghai
...
database.type=mysql
mysql.port=3306
mysql.host=centos01
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
说明：
#StaticRemainingFlowSize：正在排队的任务数；
#CpuStatus：CPU占用情况
#MinimumFreeMemory：内存占用情况。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行。


[root@centos01 conf]# vim azkaban-users.xml
# 添加用户
<user password="apple" roles="admin" username="apple"/>

7、启动

必须进入到centos01的/opt/apps/azkaban/azkaban-web路径，启动web server

[root@centos01 conf]# cd /opt/apps/azkaban/azkaban-web
[root@centos01 azkaban-web]# bin/start-web.sh

访问http://192.168.42.101:8081

apple/apple