[大数据]Hadoop：Yarn 搭建

写的不到位的地方，欢迎评论指出不足之处

• Hadoop2.X?出现了一个 Yarn （资源管理）
  • MapReduce 没有后台的常服务（临时服务）
  • 与 HDFS 是两个独立的概念
• Yarn 模型
  • container 容器，里面运行我们的 AppMaster、Map/Reduce Task
    • 解耦
  • mapreduce on yarn
• 架构
  • Resource Manager
  • Node Manage

配置文件

mapred-site.xml? ? ? ? （ mapreduce on yarn ）

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>two:2181,three:2181,four:2181</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>myHA</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>three</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>four</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>three:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>four:8088</value>
</property>

将配置文件使用 scp 发送到其它相关节点上

vim slaves 由于之前编辑过 DN，所以 NM 就不用再编辑了

启动 Yarn?

start-yarn.sh

# 此时 NodeManager 启动，RM 需要手动到指定节点上人为启动
yarn-daemon.sh start resourcemanager

顺利配置并启动后，通过浏览器 http://four:8088/cluster

脚本启动

ssh two   "/opt/zookeeper-3.4.6/bin/zkServer.sh start"
ssh three "/opt/zookeeper-3.4.6/bin/zkServer.sh start"
ssh four  "/opt/zookeeper-3.4.6/bin/zkServer.sh start"
ssh one   "/opt/hadoop-2.6.5/sbin/start-dfs.sh"
ssh one   "/opt/hadoop-2.6.5/sbin/start-yarn.sh"
ssh three "/opt/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager"
ssh four  "/opt/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager"

测试

首先确认有一个目录下有一个数据文件

?操作

cd /opt/hadoop-2.6.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/root /data/output

??

注意：搭建过程会遇到一些问题

1、hadoop 版本与 zookeeper 版本要兼容

2、换个浏览器即可

3、通过网上搜索到的一些处理方案，进行多次尝试后并没有将这个异常处理好。主要还是要记得将 RM节点 启动?yarn-daemon.sh start resourcemanager ，上传文件等一些操作还是正常的没有什么影响，无语的是教学视频也这样（之后要是有解决方案，我再补充内容）

?