设计思想
第一代和第二代MapReduce的差距在于，下一代将JobTracker的两个主要功能，资源管理和作业控制，拆分成两个独立的进程。资源管理进程与具体应用程序无关，且每个作业控制进程只负责管理一个作业。实现了将原有JobTracker中与应用程序相关和无关的模块分开，减轻了JobTracker负载，也使得Hadoop支持更多的计算框架。
下一代MapReduce实际上衍生出了一个资源统一管理平台YARN，使得Hadoop不止支持MapReduce，还可以融入其他更多计算框架。
基本架构
总体上仍是Master/Slave结构。
ResourceManager是master，负责资源统一管理和调度。用户提交一个应用程序时，需要提供一个用来跟踪和管理这个程序的ApplicationMaster，负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务。
NodeManager是slave。
ResourceManager(RM)
全局资源管理器，由两个组件构成：调度器Scheduler和应用程序管理器Aoolications Manager （ASM）。
调度器
负责资源分配，资源分配单位使用一个抽象概念”资源容器（Resource Container简称Container）表示，Container是一个动态资源分配单位，将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。
调度器是可插拔的，用户可以自定义
应用程序管理器
负责管理系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster，监控ApplicationMaster运行状态并在失败时重新启动它。
ApplicationMaster（AM）
用户提交的每个应用程序都包含有个AM，主要负责：
- 和RM调度器协商以获取资源（用Container表示）
- 将得到的任务进一步分配到内部的任务
- 与NN通信以启动、停止惹怒我
- 监控所有任务运行状态，在任务失败时重新申请资源以重启任务。
NodeManager（NM）
每个节点上的资源和任务管理器，定时向RM汇报本节点上的资源使用情况和各个Container的运行状态，也会接收和处理来自AM的Container启动、停止等各种请求。
Container
是YARN中的资源抽象， 封装了多维度资源比如CPU、内存、磁盘、网络等，AM向RM申请资源时，RM返回的就是Container表示的。
是一个动态资源划分单位，根据应用 程序的需求动态生成的。
工作流程
两阶段运行，第一阶段是启动ApplicationMaster，第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，监控它的整个运行流程直到运行完成。
步骤：
- 用户向YARN中提交应用程序，包括ApplicatonMaster程序、启动ApplicatonMaster的命令、用户程序等。
- RM为该用户程序分配第一个Container，并与对应的NM通信，要求它在这个Container中启动应用程序的AM
- AM向RM注册，这样用户就可以直接通过RM查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复后面的步骤
- AM采用轮询的方式通过RPC协议向RM申请和领取资源
- 一旦AM申请到资源，便与对应的NM通信，要求它启动任务
- NM为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。。
- 各个任务通过某个RPC协议向AM汇报自己的状态和进度，以让AM随时掌握各个任务的运行状态，从而在任务失败时重新启动任务。
- 应用程序完成后，AM向RM注销并关闭自己。