| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Azkaban的安装部署 -> 正文阅读 |
|
[大数据]Azkaban的安装部署 |
目录 介绍:Azkaban 是个简单的批处理调度器,用来构建和运行?Hadoop?作业或其他脱机过程。整体包括三部分webserver、dbserver、executorserver。 Azkaban的功能特点 1.兼容所有版本的 Hadoop 2.基于 Web 的易用 UI 3.简单的 Web 和 HTTP 工作流上传 4.项目工作空间 5.工作流调度 6.模块化和插件化 7.支持认证和授权 8.可跟踪用户行为 9.失败和成功时的邮件提醒 10.SLA 警告和自动终止 11.失败作业的重试 一、安装准备下载安装包:1.1官网:1.2我的版本:
二、安装部署2.1上传tar包将azkaban-db-3.84.4.tar.gz,azkaban-exec-server-3.84.4.tar.gz,azkaban-web-server-3.84.4.tar.gz上传到/tools目录下。 2.2解压新建/training/azkaban目录,将所有tar包解压到这个目录上。
2.3配置MySQL
2.4更改MySQL包大小防止Azkaban连接MySQL阻塞 vim /etc/my.cnf ?重启MySQL
2.5配置Executor ServerAzkaban Executor Server处理工作流和作业的实际执行。 编辑azkaban.properties; vim azkaban.properties
2.6分发同步azkaban-exec到所有节点
2.7启动executor
必须进入到azkaban-exec-server-3.84.4路径,在所有台机器上都启动executor 注意:如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port文件,说明启动成功 2.8激活executor
如果所有机器都出现如下提示,则表示激活成功! 2.9配置Web ServerAzkaban Web Server处理项目管理,身份验证,计划和执行触发。 编辑azkaban.properties
说明: #StaticRemainingFlowSize:正在排队的任务数; #CpuStatus:CPU占用情况 #MinimumFreeMemory:内存占用情况。测试环境,必须将MinimumFreeMemory删除掉,否则它会认为集群资源不够,不执行。 2.10修改azkaban-users.xml文件添加root用户
2.11启动web?server必须进入到hadoop01的azkaban-web-server-3.84.4路径
三、验证安装3.1验证访问: 并用root用户登陆,密码:123456 安装完成!!! 作者水平低,如有错误,恳请指正!!! |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年1日历 | -2025/1/16 3:50:15- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |