| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 大数据分析学习第十五课 自建云服务器集群使用Ambari创建配置大数据集群和常用组件(二) -> 正文阅读 |
|
[大数据]大数据分析学习第十五课 自建云服务器集群使用Ambari创建配置大数据集群和常用组件(二) |
? ? 上节课我们介绍了怎么在离线环境下配置安装ambari和hdp,并成功启动了ambari服务 这节课我们就在安装好的Ambari平台上配置集群和服务 我们登录Ambari的管理后台,点击【LAUNCH INSTALL WIZARD】 ?我们输入一个集群名称 ?选择版本,这里我们离线宝是3.1,所以就选3.1 ?因为我们是离线安装,这里的库我们全部指定tt1服务器的资源,操作系统要选redhat7 ?上面填写的三处地址,其实就是我们配置的离线yum源的地址 ?HDP-3.1:? ?http://xx.xx.xx.xx:8081/hdp/HDP/centos7/3.1.5.0-152/ 我们填写后,可以把除了redhat7之外的操作系统的配置都移除,然后点下一步 ? ?下一步我们配置节点和私匙,私匙就是上节课备份的tt1主机的私匙 ?填好后我们点击注册和配置按钮,可以看到tt1这台主机安装失败,原因是他是ambari server master主机,没有安装agent,我们在tt1上也安装一下agent服务,然后retry就可以注册成功了 ?我们可以点击 installing看下ss1的安装过程日志 如果遇到注册失败,我们可能需要修改下3台主机的hosts文件,把第一,第二行加上相应的hostname 下面贴出ss1的hosts文件 vi /etc/hosts ?当看到下面的提示,就表示成功了,我们点下一步 接下来就到了选择HDFS版本和需要安装的服务了 以下是我选的服务,都是常用的YARN,Hive,Tiz,kafka等 我们点下一步的时候回提示一些,必须服务,我们可以接受,也可以取消自己去选 ? ?激动人心的时刻,我们根据主机情况,选择服务安装的主机位置 这里配置DN,NM,RS等位置 ?这里就到了配置账号了,我们配置复杂一点的8位数字字母加特殊符号 这里是配置数据库的,连接的就是上篇文章在tt1安装的mysql,需要用到数据库的都要配置,填好后可以测试连接是否成功 如果连接失败,我们在master上执行下配置驱动的命令 ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar 然后继续配置 ranger服务需要创建数据库,用户
rangerkms服务创建数据库
配置完数据库就到了服务目录配置 这里基本默认就可以了,下面是hive Hbase zookeeper ?atlas ?kafka ?再下一步就到了账号配置,我们选上下面三项 HDFS配置 YARN配置 右上角的警告可以按提示处理 最后,系统会输出一份服务清单,可以帮我们管理服务安装的位置 ?我们点击打印? 使用虚拟打印生成pdf文档 打印好后,我们点击部署按钮,就开始在3台服务器安装服务了 下面提示,ss1和ss2安装失败了,失败原因主要是超时造成的,因为3台主机不在一个内网,走外网速度会比较慢,只有1M带宽 ?解决超时报错 1、增大超时时间:修改配置文件:
2、修改retry重试次数:vi /etc/yum.conf installonly_limit=5这个默认是5,我们霸气的加2个0吧 ?修改retry次数为500的这个配置,需要在agent端ss1,ss2也修改一下 ?修改完上面2项,我们把服务器都重启,然后重新配置下安装过程 终于不报大红色了,只是有一些警告 最终输出安装信息 ?我们点击完成,就到了管理主界面了 补充一个超时问题
在确认主机时出现错误,我们查看文件:tail /var/log/ambari-agent/ambari-agent.log INFO 2020-06-20 11:33:22,053 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'ss1' using socket.getfqdn(). 解决方案: 在所有的节点上,修改agent配置 1、vi /etc/ambari-agent/conf/ambari-agent.ini 在 [security] 下添加 ? ?force_https_protocol=PROTOCOL_TLSv1_2 2、修改python验证 vi /etc/python/cert-verification.cfg [https] verify=disable 完成以上2项修改,在所有节点执行重启 systemctl restart ambari-agent 总结 ? ? ? ? 本次的分享就到这里,猫头鹰数据致力于为大家分享技术干货😎 ? ? ? ? 如果以上过程中出现了任何的纰漏错误,烦请大佬们指正😅 ? ? ? ? 受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏 ? ? ? ? 也可以搜索关注我的微信公众号【猫头鹰数据分析】,留言交流🙏 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 12:49:56- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |