IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Azkaban安装部署 -> 正文阅读

[大数据]Azkaban安装部署

Azkaban安装部署

1、下载后编译

修改 build.gradle文件中的maven仓库地址为http://maven.aliyun.com/nexus/content/groups/public/

执行命令

./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew build -x test

如果报错:
在这里插入图片描述

则重新安装下python环境

pip install -r requirements.txt

然后重新clean后重新编译

2、创建azkaban目录,将以下目录下的tar依赖包放入此文件夹内

(1) azkaban-db/build/distributions/

(2) azkaban-exec-server/build/distributions/

(3) azkaban-hadoop-security-plugin/build/distributions/

(4) azkaban-solo-server/build/distributions/

(5) azkaban-web-server/build/distributions/

3、mysql安装

(1) root用户下操作
mysql -u root -p root
查看用户列表
select host ,user,password from mysql.user;
创建azkaban用户
create user ‘azkaban’ identified by ‘azkaban’;

(2) root用户下操作
grant all on . to ‘azkaban’@‘hadoop01’ identified by ‘azkaban’;
flush privileges;
grant all on . to ‘azkaban’@’%’ identified by ‘azkaban’;
flush privileges

(3) 使用azkaban用户登录, 密码为azkaban
mysql -h hadoop01 -uazkaban -p

( 4) 为azkaban单独创建一个数据库
CREATE DATABASE azkaban;

(5) 解压azkaban-db
tar -zxvf azkaban-db.tar.gz
( 6) 登录mysql
mysql -h hadoop01 -uazkaban -p ( 密码为azkaban)
( 7) 进入Azkaban数据库
mysql> use azkaban;
Database changed
( 8) 将azkaban sql表结构导入mysql
该文件位于解压后的 azkaban-db 目录下( 一定是带all的sql文件)
mysql> source /home/hadoop/app/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-
SNAPSHOT.sql
mysql> show tables;

4、解压Azkaban Web Server
[hadoop@hadoop01 azkaban]$
tar -zxvf azkaban-web-server-.tar.gz
( 1) 配置keystore
在azkaban-web-server目录下执行如下命令, 会生成一个keystore 文件, 为了方便所有密码用同
一个(比如azkaban):
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
将生成的keystore文件复制到azkaban-web-server的bin目录下
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$ cp keystore bin/

(2) 修改conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Azkaban Jetty server properties.
#jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
jetty.ssl.port=8443
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban
# Azkaban Executor settings( 跟Executor端口号保持一致)
executor.port=12321
# Azkaban mysql settings by default.
database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/hadoop/app/azkaban/azkaban-web-server-0.1.0

5、 解压Azkaban Executor Server
[hadoop@hadoop01 azkaban]$
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

(1) 配置executor端的azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Azkaban mysql settings by default.
database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings,
executor.maxThreads=50
executor.flow.threads=30

6、启动

(1) 先启动exec-server
[hadoop@hadoop01 azkaban-exec-server-0.1.0-SNAPSHOT]$
bin/start-exec.sh

手动激活(官网命令)curl -G “localhost:$(<./executor.port)/executor?action=activate” && echo

(2) 再启动web-server
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$ bin/start-web.sh

(3)登陆web界面

http://192.168.0.187:8081/

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-11 22:17:06  更:2022-03-11 22:17:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 9:57:09-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码