IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据分析学习第十五课 自建云服务器集群使用Ambari创建配置大数据集群和常用组件(二) -> 正文阅读

[大数据]大数据分析学习第十五课 自建云服务器集群使用Ambari创建配置大数据集群和常用组件(二)

? ? 上节课我们介绍了怎么在离线环境下配置安装ambari和hdp,并成功启动了ambari服务

这节课我们就在安装好的Ambari平台上配置集群和服务

我们登录Ambari的管理后台,点击【LAUNCH INSTALL WIZARD】

?我们输入一个集群名称

?选择版本,这里我们离线宝是3.1,所以就选3.1

?因为我们是离线安装,这里的库我们全部指定tt1服务器的资源,操作系统要选redhat7

?上面填写的三处地址,其实就是我们配置的离线yum源的地址

?HDP-3.1:? ?http://xx.xx.xx.xx:8081/hdp/HDP/centos7/3.1.5.0-152/
HDP-3.1-GPL:??http://xx.xx.xx.xx:8081/hdp/HDP-GPL-3.1.5.0/HDP-GPL/centos7/3.1.5.0-152/
HDP-UTILS-1.1.0.22:??http://xx.xx.xx.xx:8081/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22

我们填写后,可以把除了redhat7之外的操作系统的配置都移除,然后点下一步

?

?下一步我们配置节点和私匙,私匙就是上节课备份的tt1主机的私匙

?填好后我们点击注册和配置按钮,可以看到tt1这台主机安装失败,原因是他是ambari server master主机,没有安装agent,我们在tt1上也安装一下agent服务,然后retry就可以注册成功了

?我们可以点击 installing看下ss1的安装过程日志

如果遇到注册失败,我们可能需要修改下3台主机的hosts文件,把第一,第二行加上相应的hostname

下面贴出ss1的hosts文件

vi /etc/hosts

?当看到下面的提示,就表示成功了,我们点下一步

接下来就到了选择HDFS版本和需要安装的服务了

以下是我选的服务,都是常用的YARN,Hive,Tiz,kafka等

我们点下一步的时候回提示一些,必须服务,我们可以接受,也可以取消自己去选

?

?激动人心的时刻,我们根据主机情况,选择服务安装的主机位置

这里配置DN,NM,RS等位置

?这里就到了配置账号了,我们配置复杂一点的8位数字字母加特殊符号

这里是配置数据库的,连接的就是上篇文章在tt1安装的mysql,需要用到数据库的都要配置,填好后可以测试连接是否成功

如果连接失败,我们在master上执行下配置驱动的命令

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

然后继续配置

ranger服务需要创建数据库,用户

CREATE DATABASE ranger;
use ranger; 
CREATE USER 'admin'@'%' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%'; 
CREATE USER 'admin'@'localhost' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'localhost'; 
CREATE USER 'admin'@'tt1' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'tt1';

rangerkms服务创建数据库

CREATE DATABASE rangerkms;
use rangerkms; 

配置完数据库就到了服务目录配置

这里基本默认就可以了,下面是hive

Hbase

zookeeper

?atlas

?kafka

?再下一步就到了账号配置,我们选上下面三项

HDFS配置

YARN配置

右上角的警告可以按提示处理

最后,系统会输出一份服务清单,可以帮我们管理服务安装的位置

?我们点击打印? 使用虚拟打印生成pdf文档

打印好后,我们点击部署按钮,就开始在3台服务器安装服务了

下面提示,ss1和ss2安装失败了,失败原因主要是超时造成的,因为3台主机不在一个内网,走外网速度会比较慢,只有1M带宽

?解决超时报错

1、增大超时时间:

修改配置文件:

vim /etc/ambari-server/conf/ambari.properties(此错误为ambari-server ssh连接ambari-agent安装超时)

agent.package.install.task.timeout=1800更改为96000(时间可根据网络情况继续调整)

2、修改retry重试次数:

vi /etc/yum.conf

installonly_limit=5这个默认是5,我们霸气的加2个0吧

?修改retry次数为500的这个配置,需要在agent端ss1,ss2也修改一下

?修改完上面2项,我们把服务器都重启,然后重新配置下安装过程

终于不报大红色了,只是有一些警告

最终输出安装信息

?我们点击完成,就到了管理主界面了

补充一个超时问题

Python script has been killed due to timeout after waiting 1800 secs

在确认主机时出现错误,我们查看文件:tail /var/log/ambari-agent/ambari-agent.log

INFO 2020-06-20 11:33:22,053 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'ss1' using socket.getfqdn().
ERROR 2020-06-20 11:33:22,053 main.py:269 - Ambari agent machine hostname (ss1) does not match expected ambari server hostname (ss1). Aborting registration. Please check hostname, hostname -f and /etc/hosts file to confirm your hostname is setup correctly

解决方案:

在所有的节点上,修改agent配置

1、vi /etc/ambari-agent/conf/ambari-agent.ini

在 [security] 下添加 ?

?force_https_protocol=PROTOCOL_TLSv1_2

2、修改python验证 vi /etc/python/cert-verification.cfg

[https]

verify=disable

完成以上2项修改,在所有节点执行重启 systemctl restart ambari-agent
?

总结
? ? ? ? 感谢能看到这里的朋友😉

? ? ? ? 本次的分享就到这里,猫头鹰数据致力于为大家分享技术干货😎

? ? ? ? 如果以上过程中出现了任何的纰漏错误,烦请大佬们指正😅

? ? ? ? 受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

? ? ? ? 也可以搜索关注我的微信公众号【猫头鹰数据分析】,留言交流🙏

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-17 15:27:43  更:2021-08-17 15:28:54 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 12:49:56-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码