条件:1.利用xhell连接虚拟机,进行文件传输和环境的搭建;共需 6 个节点
首先更改集群二的用户名
[root@localhost ~]# hostnamectl set-hostname dsw01
[root@localhost ~]# exit
#重复更改三台,重新连接虚拟机,名字就改好了
对集群二的hosts和hostname文件进行修改
vim /etc/hosts #集群二3个节点的ip和用户名
例:10.10.10.10 hostname01
10.10.10.11 hostname02
10.10.10.12 hostname03
vim /etc/hostname #写入每个节点的用户名
步骤正式开始
1.打包 集群1 第一个节点的Hadoop文件夹(这里以我的目录作为演示)
1)压缩/opt/文件夹到根目录下的software文件夹里
tar -zcvf 打包后生成的文件名全路径 要打包的目录
2)将刚刚的压缩包拖拽到本地目录,再将其上传到 集群2 的第一个节点(dsw01)的 /software 文件夹,运行解压命令
tar -zxvf /software/opt.tar.gz /
2、接下来就是对配置文件的修改
1)执行vim /etc/profile命令,直接复制集群1的配置内容到新的节点
执行source /etc/profile 命令 刷新环境变量
#测试jdk是否安装成功
[root@localhost software]# java -version
[root@localhost software]# java
[root@localhost software]# javac
#将配置好的jdk远程发送给其他两个虚拟机。
[root@localhost opt]# scp -r /opt/jdk1.8.0_181 root@192.168.8.191:/opt/
#将其他两台虚拟机的环境变量配置一下:
[root@localhost opt]# scp /etc/profile root@192.168.8.192:/etc/
#刷新环境变量
2)配置ssh免密登录(有时间我会再写一篇专门的文章,并将链接放在这)
3)进入以下路径,做一些配置修改 hadoop-2.7.6/etc/hadoop/
[root@hd01 opt]# cd /opt/hadoop-2.7.6/etc/hadoop/
[root@hd01 hadoop]# ll
#编辑hadoop-env.sh 配置自己jdk路径
[root@hd01 hadoop]# vim hadoop-env.sh
# 编辑core-site.xml ,配置ip,端口,读取文件缓冲大小
编辑hdfs-site.xml,配置副本数等
修改mapred-site.xml.template文件名字
[root@hd01 hadoop]# cp mapred-site.xml.template mapred-site.xml
编辑mapred-site.xml,配置框架名字,历史记录组件等
[root@hd01 hadoop]# vim mapred-site.xml
编辑yarn-site.xml ,配置resourcemanager的相关信息
编辑slaves, 将三台虚拟机的主机名添加进去
将配置好的hadoop-2.7.6 发送给其他节点
4)19. 在第一台虚拟机格式化 namenode
[root@hd01 hadoop]# hadoop namenode -format
#启动hadoop服务(在第一台虚拟机启动服务)
[root@hd01 hadoop]# start-all.sh
#关闭三台虚拟机的防火墙和 windows的防火墙。
[root@hd01 hadoop]# systemctl stop firewalld
[root@hd01 hadoop]# systemctl disable firewalld
[root@hd02 hadoop]# systemctl stop firewalld
[root@hd02 hadoop]# systemctl disable firewalld
[root@hd03 hadoop]# systemctl stop firewalld
[root@hd03 hadoop]# systemctl disable firewalld
修改文件夹下所有文件的权限
sudo chmod -R 777 filename 到此,Hadoop就搭建好了
|