Yarn 基础架构

YARN 主要由 ResourceManager 、 NodeManager 、 ApplicationMaster 和 Container 等组件

构成。

Yarn 工作机制?

（ 1 ） MR 程序提交到客户端所在的节点。

（ 2 ） YarnRunner 向 ResourceManager 申请一个 Application 。

（ 3 ） RM 将该应用程序的资源路径返回给 YarnRunner 。

（ 4 ）该程序将运行所需资源提交到 HDFS 上。

（ 5 ）程序资源提交完毕后，申请运行 mrAppMaster 。

（ 6 ） RM 将用户的请求初始化成一个 Task 。

（ 7 ）其中一个 NodeManager 领取到 Task 任务。

（ 8 ）该 NodeManager 创建容器 Container ，并产生 MRAppmaster 。

（ 9 ） Container 从 HDFS 上拷贝资源到本地。

（ 10 ） MRAppmaster 向 RM 申请运行 MapTask 资源。

（ 11 ） RM 将运行 MapTask 任务分配给另外两个 NodeManager ，另两个 NodeManager 分别领取任务并创建容器。

（ 12 ） MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager 分别启动MapTask ， MapTask 对数据分区排序。

（ 13 ） MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask 。

（ 14 ） ReduceTask 向 MapTask 获取相应分区的数据。

（ 15 ）程序运行完毕后， MR 会向 RM 申请注销自己。

?作业提交全过程

作业提交全过程详解?

（ 1 ）作业提交

第 1 步： Client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。

第 2 步： Client 向 RM 申请一个作业 id 。

第 3 步： RM 给 Client 返回该 job 资源的提交路径和作业 id 。

第 4 步： Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。

第 5 步： Client 提交完资源后，向 RM 申请运行 MrAppMaster 。

（ 2 ）作业初始化

第 6 步：当 RM 收到 Client 的请求后，将该 job 添加到容量调度器中。

第 7 步：某一个空闲的 NM 领取到该 Job 。

第 8 步：该 NM 创建 Container ，并产生 MRAppmaster 。

第 9 步：下载 Client 提交的资源到本地。

（ 3 ）任务分配

第 10 步： MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。

第 11 步： RM 将运行 MapTask 任务分配给另外两个 NodeManager ，另两个 NodeManager 分别领取任务并创建容器。

（ 4 ）任务运行

第 12 步： MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager 分别启动 MapTask ， MapTask 对数据分区排序。

第 13 步： MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask 。

第 14 步： ReduceTask 向 MapTask 获取相应分区的数据。

第 15 步：程序运行完毕后， MR 会向 RM 申请注销自己。

（ 5 ）进度和状态更新

YARN 中的任务将其进度和状态 ( 包括 counter) 返回给应用管理器 , 客户端每秒 ( 通过

mapreduce.client.progressmonitor.pollinterval 设置 ) 向应用管理器请求进度更新 , 展示给用户。

（ 6 ）作业完成

除了向应用管理器请求作业进度外 , 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。作业完成之后, 应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

Yarn 调度器和调度算法

Hadoop 作业调度器主要有三种： FIFO 、容量（ Capacity Scheduler ）和公平（ Fair

Scheduler ），这个建议大家去看看操作系统，很详细。

先进先出调度器（FIFO）

FIFO 调度器（ First In First Out ）：单队列，根据提交作业的先后顺序，先来先服务。

优点：简单易懂；

缺点：不支持多队列，生产环境很少使用；

容量调度器（Capacity Scheduler）

1 、多队列：每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略。

2 、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限

3 、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

4 、多租户：

? ? ? ? 支持多用户共享集群和多应用程序同时运行。

? ? ? ? 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

公平调度器（Fair Scheduler） ?

1 ）与容量调度器相同点

（ 1 ）多队列：支持多队列多作业

（ 2 ）容量保证：管理员可为每个队列设置资源最低保证和资源使用上线

（ 3 ）灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提

交，则其他队列借调的资源会归还给该队列。

（ 4 ）多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

2 ）与容量调度器不同点

（ 1 ）核心调度策略不同

容量调度器：优先选择资源利用率低的队列

公平调度器：优先选择对资源的缺额比例大的

（ 2 ）每个队列可以单独设置资源分配方式

容量调度器： FIFO 、 DRF

公平调度器： FIFO 、 FAIR 、 DRF

缺额

公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一

时刻一个作业应获资源和实际获取资源的差距叫 “缺额”

调度器会优先为缺额大的作业分配资源

?公平调度器队列资源分配方式

Fair 策略(操作系统有详细的介绍）

[大数据]Hadoop系列之YARN

Yarn 调度器和调度算法

先进先出调度器（FIFO）

容量调度器（Capacity Scheduler）

公平调度器（Fair Scheduler） ?