系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
待更新
文章目录
前言
一、搭建普通Hadoop集群，设三台主机名为node1，node2，node3。
? ?配置文件按照本文配置。
二、Hadoop集群配置
? ?配置完后，请仔细检查配置文件的内容是否正确。
1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下）
（1）配置Hadoop集群主节点（这里将node1作为主节点）
? ?进入/export/servers/hadoop-2.7.4/etc/hadoop目录下，代码如下：
cd /export/servers/hadoop-2.7.4/etc/hadoop
? 1）配置hadoop-env.sh文件
vim hadoop-env.sh
??找到export JAVA_HOME参数，去掉开头的注释符“＃”，并给它赋值，如下：
export JAVA_HOME＝/export/servers/jdk1.8.0_291
?2）配置core-site.xml文件
??打开core-site.xml文件，代码如下：
vim core-site.xml
??将文件的<configuration></configuration>标签替换成以下内容：
<configuration>
<!--指定hdfs的nameservice为node1-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!--指定hadoop临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
</configuration>
?3）配置hdfs-site.xml文件
??打开hdfs-site.xml文件，代码如下：
vim hdfs-site.xml
??将文件的<configuration></configuration>标签替换成以下内容：
<configuration>
<!--设置副本个数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置namenode.name目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/export/data/hadoop/name</value>
</property>
<!--设置datanode.data目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/export/data/hadoop/data</value>
</property>
<!--开启webHDFS-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
<!--在namenode和datanode上开启webHDFS（REST API）功能，不是必须-->
</property>
<!--指定hdfs的nameservice为ns1-->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!--ns1下有两个NameNode，分别是nn1，nn2-->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>node1:9000</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>node1:50070</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>node2:9000</value>
</property>
<!--nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>node2:50070</value>
</property>
<!--指定NameNode的元数据在JournalNode上的存放位置-->
<property>
<name>dfs.journalnode.shared.edits.dir</name>
<value>qjournal://node1:8485;node2:8485;node3:8485/ns1</value>
</property>
<!--指定JournalNode在本地磁盘存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/export/data/hadoop/journaldata</value>
</property>
<!--开启NameNode失败自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置失败自动切换实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!--使用sshfence隔离机制时需要ssh免登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!--配置sshfence隔离机制超时时间-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
?4）配置mapred-site.xml文件
??该文件的文件名为mapred-site.xml.template，需执行以下命令更改文件名为mapred-site.xml：
mv mapred-site.xml.template mapred-site.xml
??打开mapred-site.xml文件，代码如下：
vim mapred-site.xml
??将文件的<configuration></configuration>标签替换成以下内容：
<configuration>
<!--指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
?5）配置yarn-site.xml文件
??打开yarn-site.xml文件，代码如下：
vim yarn-site.xml
??将文件的<configuration></configuration>标签替换成以下内容：
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<!--开启RM高可用-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定RM的cluster id-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!--指定RM的名字-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--分别指定RM的地址-->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node2</value>
</property>
<!--指定zk集群地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
?6）修改slaves文件
??打开slaves文件，代码如下：
vim slaves
??先清空原文件内容，然后添加整个集群的从节点，内容如下：
node1
node2
node3
（2）启动Hadoop高可用集群
?1）启动各节点的Zookeeper服务
? ?启动服务前关闭三台虚拟机的防火墙，使三台虚拟机能够通讯。否则服务无法启动成功。虚拟机(文章以CentOS为例)均执行以下命令：
service iptables stop
? ?先进入zookeeper的bin目录。
? ?启动：每台虚拟机均执行以下命令
./zkServer.sh start
?2）启动各节点监控NameNode的管理日志的JournalNode
hadoop-daemon.sh start journalnode
?3）将集群主节点（Hadoop01）的配置文件分发给其他子节点。
??在node1下执行依次以下命令：
scp -r /export/servers/hadoop-2.7.4 node2:/export/servers/hadoop-2.7.4
scp -r /export/servers/hadoop-2.7.4 node3:/export/servers/hadoop-2.7.4
?4）在node1节点格式化NameNode，并将格式化后的目录复制到node2中。
??在node1下执行依次以下命令：
hadoop namenode -format
scp -r /export/data node2:/export/data
?5）在node1节点上格式化ZKFC。
hdfs zkfc -formatZK
?6）在node1上开启HDFS和YARN。
start-all.sh
datanode节点无法全部开启问题的解决办法
??打开Hadoop的安装路径，进入安装路径下的Hadoop-2.7.4/tmp/dfs/data目录，将所有节点（所有虚拟机）的current文件夹删除。这里Hadoop的安装路径是/export/servers，命令如下（所有虚拟机均执行）：
cd /export/servers/hadoop-2.7.4/tmp/dfs/data
rm -rf current
??完成后，重启Hadoop集群即可。
??成功后如下所示：