IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 舍友的Hadoop环境搭建失败,为了让他能继续学习,我把他的虚拟机加入我的集群(跨电脑)bushi -> 正文阅读

[大数据]舍友的Hadoop环境搭建失败,为了让他能继续学习,我把他的虚拟机加入我的集群(跨电脑)bushi

通过对Hadoop的学习和使用一段时间后,都是用自己的电脑内的虚拟机,那么接下来尝试连接其他电脑,巩固环境搭建。同时也为了能学习HDFS的纠删码和异构存储(自己的电脑同时开四台以上的虚拟机会出现一些问题)。

虚拟机准备

先克隆常用的三台虚拟机,修改名称,以便区分。

再克隆两台原始虚拟机,通过网络共享传输给另一台电脑。同样更改名称,以便区分。

修改每台虚拟机的网络连接模式为桥接模式


获取网络信息

打开路由器找到路由器局域网ip池和DNS(局域网),一般再路由器参数中。

在cmd中使用命令:ipconfig -all 也能得到DNS和网关。


Xshell配置

xshell的配置很简单,新建五个会话,分别把名称和主机ip填入。
再把登录信息填写上。外观随意调一下。


配置Hadoop环境

五台虚拟机都要修改。

虚拟机配置:

/etc/hostname 修改主机名

/etc/hosts 修改ip地址映射

/etc/sysconfig/network-scripts/ifcfg-ens33
修改IPADDR(从局域网的ip池中选一个未被占用的ip)、GATEWAY(用上面获得网关)、DNS。

java和hadoop的环境变量不做改动。

修改hadoop:

core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml 把ip/主机名更改成现在的
如果是高可用还需要修改如下内容:
core-site.xmlha.zookeeper.quorum 添加两个新机器地址,用逗号分割,不能有空格。
yarn-site.xmlyarn.resourcemanager.zk-addressyarn.resourcemanager.zk.state-store.address两者 内容和core-site.xmlha.zookeeper.quorum一致。

*修改zookeeper:

zookeeper-3.5.7/conf目录下的配置文件添加新机器,注意格式 server.id=主机名/IP:2888:3888
修改zoo.cfg dataDir所指向目录下的myid文件(用来明确当前机器的id的文件),填写刚配置的 server.id=主机名/IP:2888:3888的id即可

配置windows的IP地址映射

打开C:\Windows\System32\drivers\etc 路径下的hosts

添加和虚拟机中hosts文件一样的内容。


启动集群

非高可用:

启动HDFS:
sbin/start-dfs.sh
启动Yarn:
sbin/start-yarn.sh
启动historyserver:
mapred --daemon start historyserver

高可用:

启动zookeeper:
zookeeper-3.5.7/bin/zkServer.sh start
启动HDFS:
sbin/start-dfs.sh
启动Yarn:
sbin/start-yarn.sh
启动historyserver:
mapred --daemon start historyserver


启动后用jps查看是否所有服务都启动了。


集群启动失败的大体解决方法

非高可用
删除core-site.xmlhadoop.tmp.dir指定的目录和logs目录,集群机器全都删除。
使用hdfs namenode -format重新格式化,再启动集群。

高可用
删除core-site.xmlhadoop.tmp.dir指定的目录和logs目录,集群机器全都删除;所有机器
启动zookeeper 命令:/bin/zkServer.sh start(在zookeeper根目录下执行命令)和journalnode 命令:hdfs --daemon start journalnode
删除dfs.journalnode.edits.dir设置目录下的所有内容(未设置默认/tmp/hadoop/dfs/journalnode/)。
在其中一个namenode节点使用hdfs namenode -format重新格式化,格式化后会生成一个新文件夹(hadoop.tmp.dir所配置的文件),用scp (scp local_file remote_username@remote_ip:remote_folder ) 或者rsyncrsync -av local_file remote_username@remote_ip:remote_folder)命令传给另一个namenode节点;启动集群。

如果还是有无法启动的服务,可以看:致那时那刻,所犯下的错——Hadoop错误集锦

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-11-25 08:11:03  更:2021-11-25 08:11:48 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 7:46:22-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码