[大数据]hadoop集群搭建（二）

承接前面hadoop集群搭建（一）hadoop集群的搭建（一）——虚拟机网络的搭建_baidu_41833099的博客-CSDN博客

1.在shell客户端与虚拟机连接

2.卸载虚拟机自带JDK（如果安装时候选择最小安装则不需要卸载 因为并没有自带JDK）

注意：在root用户下卸载

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

3.创建 software 以及module文件夹 前者存放安装包，后者为安装路径

[root@hadoop102 ~]# mkdir /opt/module
[root@hadoop102 ~]# mkdir /opt/software

4.查看所创建的两个文件夹的用户权限，这里会看到是root权限，因此要改为普通用户权限，这里我所创建的普通用户为xiaopang

[root@hadoop102 opt]# chown xiaopang:xiaopang module/
[root@hadoop102 opt]# chown xiaopang:xiaopang software/

5.配置

?

5.关闭虚拟机，并将该虚拟机克隆两份，以搭建后续的集群。

6.克隆后分别要设置IP地址、主机名称以及主机映射，这些设置都得在root用户下进行

ip地址设置：两台分别为192.168.20.103? ? ? ? ? ? ? ? 192.168.20.104

[root@hadoop102 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

主机名称设置：hadoop103 hadoop104

[root@hadoop102 ~]# vim /etc/hostname

主机映射设置：

[root@hadoop102 ~]# vim /etc/hosts

7.小总结：到目前为止服务器情况

8.在hadoop102上安装JDK与hadoop

用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下 面

在hadoop102上?进入到software文件下，将两个文件解压到opt/module下面

[xiaopang@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz  -C /opt/module/
[xiaopang@hadoop102 software]# tar -zxvf hadoop-3.1.3.tar.gz  -C /opt/module/

进入到module下，查看是否解压成功

将jdk与hadoop添加到环境变量： 获取jdk与hadoop的安装路径?

[xiaopang@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[xiaopang@hadoop102 jdk1.8.0_212]$ pwd
/opt/module/jdk1.8.0_212

打开/etc/profile.d/my_env.sh 文件?

[xiaopang@hadoop102 jdk1.8.0_212]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件中添加hadoop与jdk的环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改的文件失效

[xiaopang@hadoop102 ~]$ source /etc/profile

测试安装是否成功

?

?9.xsync集群分发脚本

在/home/xiaopang/bin目录下创建xsync文件

[xiaopang@hadoop102 ~]$ cd /home/xiaopang
[xiaopang@hadoop102 ~]$ mkdir bin
[xiaopang@hadoop102 ~]$ cd bin/
[xiaopang@hadoop102 bin]$ vim xsync

在该文件中编写如下代码：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

修改脚本权限

[xiaopang@hadoop102 bin]$ chomd 777 xsync

将脚本复制到/bin 中，以便全局调用

sudo cp xsync /bin/

将jdk与hadoop分发到各个服务器

[xiaopang@hadoop102 ~]$ xsync /opt/

同步环境变量配置

sudo ./bin/xsync /etc/profile.d/my_env.sh

让环境变量生效

[xiaopang@hadoop103 opt]$ source /etc/profile

[xiaopang@hadoop104 opt]$ source /etc/profile

10.ssh无密码登录配置

在hadoop102生成公钥，

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到三服务器上

$ ssh-copy-id hadoop102

$ ssh-copy-id hadoop103

$ ssh-copy-id hadoop104

在其他两台电脑重复步骤10操作

11.集群配置规划如下

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。?

?12 配置core-site.xml

[xiaopang@hadoop103 hadoop-3.1.3]$ cd etc/hadoop/
[xiaopang@hadoop103 hadoop]$ vim core-site.xml 

core-site.xml大致内容如下?

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>atguigu</value>
 </property>
</configuration

13.配置hdfs

[xiaopang@hadoop103 hadoop]$ vim hdfs-site.xml 

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
</configuration>

14.配置yarn

[xiaopang@hadoop103 hadoop]$ vim yarn-site.xml 

大致内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

15 配置mapreduce

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

16.在集群上分发hadoop配置文件

[xiaopang@hadoop103 hadoop]$ xsync /opt/module/hadoop3.1.3/etc/hadoop/

17.去hadoop103 hadop104查看文件分发情况

18.配置workers,

[xiaopang@hadoop102 hadoop]$ vim /opt/module/hadoop3.1.3/etc/hadoop/workers

增加内容如下:(这里指明哪些节点是datanoet)

hadoop102

hadoop103

hadoop104

19.同步所有节点配置文件

20.启动集群

如果是第一次启动需要在hadoop102格式化namenode

[xiaopang@hadoop103 hadoop]$ hdfs namenode -format

在namenode节点上启动dfs集群

[xiaopang@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

在sorcemanage上启动yarn

[xiaopang@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

30.查看结果

hadoop102

hadoop103

hadoop104

?

?

?

?

?