IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Yarn(资源调度) -> 正文阅读

[大数据]Yarn(资源调度)

理论

1.运行过程及其组件

  • 资源协调者,Hadoop的资源管理器
    在这里插入图片描述

2.官网

  • Hadoop系列的官网都讲解的非常详细,推荐
  • 有时打开外网非常慢,这里介绍本地打开的办法
    在这里插入图片描述

单节点RM的Yarn配置

1.关闭Hadoop集群

  • stop-dfs.sh
  • 以下操作都在node1下进行

2.修改mapred-site.xml

  • 进入目录:cd /usr/local/hadoop-2.7.1/etc/hadoop
  • 移除目录:mv mapred-site.xml.template mapred-site.xml
  • 修改配置文件:vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.修改yarn-site.xml

  • 修改配置文件:vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4.检测yarn是否配置成功

  • 启动start-yarn.sh,发现node1的进程jps上新增ResourseManager,且node234上则新增NodeManager
  • 查看Web:http://node1:8088/

5.配置成功

  • 此处只配置了一个RM,通过HDFS的学习我们直到一个NN会出现单点故障,所以一个RM也会存在,接下来为RM配置HA

RM的HA配置

1.原理

在这里插入图片描述

2.配置分析

在这里插入图片描述

3.node1上修改yarn-site.xml

  • 修改配置文件:vim yarn-site.xml
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yc2yarn</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>node3</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>node4</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>node1:2181,node2:2181,node3:2181</value>
</property>

4.node1上同步配置文件到node234

  • 进入目录:cd /usr/local/hadoop-2.7.1/etc/hadoop
scp ./*.xml   node2:`pwd`
scp ./*.xml   node3:`pwd`
scp ./*.xml   node4:`pwd`

5.确保node123节点的ZK启动

  • zkServer.sh start

6.node1上关闭Hadoop集群

  • stop-dfs.sh

7.node34上运行如下命令

  • yarn-daemon.sh start resourcemanager

8.检测

  • jps检查进程
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • node34中检查端口占用情况:netstat -npl
    在这里插入图片描述
  • Web访问:http://node3:8088/
  • 将Active状态的RM关闭看Standby状态的节点是否接管yarn-daemon.sh stop resourcemanager,关闭后之前Active状态的节点通过web无法访问,另一个可以

9.Active/Standby状态手工转移方案

  • 查看RM状态:yarn rmadmin -getServiceState rm1
  • Active变Standby:yarn rmadmin -transitionToStandby -forcemanual rm1
  • Standby变Active:yarn rmadmin -transitionToStandby -forcemanual rm2
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-06-26 16:58:01  更:2022-06-26 16:58:46 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 20:10:23-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码