IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Azkaban---环境搭建 -> 正文阅读

[大数据]Azkaban---环境搭建

安装Azkaban

https://github.com/azkaban/azkaban
解压db、web、exec压缩包到指定目录。
并修改适合的文件名。


配置Mysql

创建azkaban数据库

 create database azkaban;

创建Azkaban用户并赋权限

# 创建用户
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123123';
# 赋予用户增删改查权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

创建azkaban表

use azkaban;
source /opt/module/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;

更改Mysql传输包大小,并重启Mysql

# 修改mysql配置文件
vim /etc/my.cnf
# 在[mysqld]下添加一行
max_allowed_packet=1024M
# 保存退出,并重启mysql
sudo systemctl restart mysql

配置 Executor Server

修改azkaban.properties文件

vim /opt/module/azkaban/azkaban-exec/conf/azkaban.properties
default.timezone.id=Asia/Shanghai

# 修改下面参数的值
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop005:8081
mysql.host=Hadoop003
mysql.password=123123

# 添加下面参数和值
executor.port=12321

修改完成后将exec文件夹发送到集群其他节点

 xsync /opt/module/azkaban-3.84.4/azkaban-exec-3.84.4/

启动Exec

在每个节点的azkaban-exec-3.84.4目录中执行命令

bin/start-exec.sh

启动成功

=============== Hadoop003 ===============
5081 Jps
5066 AzkabanExecutorServer
=============== Hadoop004 ===============
1941 AzkabanExecutorServer
1963 Jps
=============== Hadoop005 ===============
2467 Jps
2426 AzkabanExecutorServer

激活executor

curl -G "Hadoop003:12321/executor?action=activate" && 
echo
url -G "Hadoop004:12321/executor?action=activate" && 
echo
url -G "Hadoop005:12321/executor?action=activate" && 
echo

三个节点都响应成功

{"status":"success"}

配置 Web Server

修改azkaban.properties文件

vim /opt/module/azkaban-3.84.4/azkaban-web-3.84.4/conf/azkaban.properties 
# 修改如下参数的值
default.timezone.id=Asia/Shanghai
mysql.host=Hadoop003
mysql.password=123123
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
MinimumFreeMemory:内存占用情况,不少于6G。测试环境,必须将 MinimumFreeMemory 删除掉,否则它会认为集群资源不够,不执行。

修改azkaban-users.xml 文件

 vim /opt/module/azkaban-3.84.4/azkaban-web-3.84.4/conf/azkaban-users.xml 
 # 在主标签中添加user标签,即添加一个用户,此用户的角色为admin
 <user password="123123" roles="admin" username="loftiest"/>

启动web

# 在azkaban-web-3.84.4目录下执行命令
bin/start-web.sh

# jps查看是否启动
3171 AzkabanWebServer
2426 AzkabanExecutorServer
3182 Jps

进入azkaban的web页面查看是否能正常进入

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-15 00:05:37  更:2022-04-15 00:09:59 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:57:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码