理论
1.运行过程及其组件
- 资源协调者,Hadoop的资源管理器
2.官网
- Hadoop系列的官网都讲解的非常详细,推荐
- 有时打开外网非常慢,这里介绍本地打开的办法
单节点RM的Yarn配置
1.关闭Hadoop集群
- stop-dfs.sh
- 以下操作都在node1下进行
2.修改mapred-site.xml
- 进入目录:cd /usr/local/hadoop-2.7.1/etc/hadoop
- 移除目录:mv mapred-site.xml.template mapred-site.xml
- 修改配置文件:vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4.检测yarn是否配置成功
- 启动start-yarn.sh,发现node1的进程jps上新增ResourseManager,且node234上则新增NodeManager
- 查看Web:http://node1:8088/
5.配置成功
- 此处只配置了一个RM,通过HDFS的学习我们直到一个NN会出现单点故障,所以一个RM也会存在,接下来为RM配置HA
RM的HA配置
1.原理
2.配置分析
3.node1上修改yarn-site.xml
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yc2yarn</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node4</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
4.node1上同步配置文件到node234
- 进入目录:cd /usr/local/hadoop-2.7.1/etc/hadoop
scp .
5.确保node123节点的ZK启动
6.node1上关闭Hadoop集群
7.node34上运行如下命令
- yarn-daemon.sh start resourcemanager
8.检测
- jps检查进程
- node34中检查端口占用情况:netstat -npl
- Web访问:http://node3:8088/
- 将Active状态的RM关闭看Standby状态的节点是否接管yarn-daemon.sh stop resourcemanager,关闭后之前Active状态的节点通过web无法访问,另一个可以
9.Active/Standby状态手工转移方案
- 查看RM状态:yarn rmadmin -getServiceState rm1
- Active变Standby:yarn rmadmin -transitionToStandby -forcemanual rm1
- Standby变Active:yarn rmadmin -transitionToStandby -forcemanual rm2
|