IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ambari安装HDFS组件(一) -> 正文阅读

[大数据]ambari安装HDFS组件(一)

ambari作为全球顶尖的Hadoop大数据组件快速部署和部署后的管理,还是非常的NB的,简单易用是它的重大特性。

在学习大数据的时候,ambari的安装集群会将一大部分人劝退,其实原因倒不是太复杂,而是很多同学安装集群的时候都是一路默认,正确的部署方式应该是从最小化集群搭建开始,然后逐步逐级的部署。这么说可能很多人还是不太明白,请看下图:

先将zookeeper组件安装完毕后,在根据自己的需要逐渐的安装丰富大数据的各个组件,并在部署阶段不停的调试测试大数据。

那么,如果像我上图一样只安装zookeeper后,首先需要添加的组件就是HDFS组件了,那么,HDFS组件是一个小套件。HDFS套件由namenode,DataNode,secondaryNode,jouneryNode,HDFS客户端,nfsgateway,phonex等等小组件组成的。

下面讲解通过ambari的web界面安装HDFS套件,并组成一个初级的大数据集群。

一,

?二,调整完毕后,下一步。

三,调整完毕后,下一步。

四,调整完毕后,下一步。

五,调整完毕后,下一步。

六,确认一下信息后,点部署就可以啦

?七,

截取部分启动namenode的日志,可以看到是进入了安全模式,稍等一会,自动离开了安全模式。

2022-03-20 16:51:06,974 - Execute['/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF''] {'logoutput': True, 'tries': 115, 'user': 'hdfs', 'try_sleep': 10}
safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:12,325 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:26,254 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:39,657 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:52,756 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
Safe mode is OFF

?八,

九,HDFS组件总体信息查看

至此,一个初步的大数据集群就搭建完毕了,后面,在添加一下DataNode和journalnodes和nfsgatewways就可以搭建出一个功能较全的大数据集群啦。?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-21 20:57:41  更:2022-03-21 20:59:45 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 6:54:27-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码