IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 【Flink】YARN运行模式 -> 正文阅读

[大数据]【Flink】YARN运行模式

YARN集群作业提交流程

会话( Session)模式

在会话模式下,我们需要先启动一个YARN session,这个会话会创建一个 Flink集群。这里只启动了JobManager,而 TaskManager可以根据需要动态地启动。在 JobManager内部,由于还没有提交作业,所以只有 ResourceManager和 Dispatcher在运行。

(1)客户端通过 REST接口,将作业提交给分发器。
(2)分发器启动 JobMaster,并将作业(包含 JobGraph)提交给 JobMaster。
(3)JobMaster向资源管理器请求资源( slots)。
(4)资源管理器向 YARN的资源管理器请求 container资源。
(5)YARN启动新的 TaskManager容器。
(6)TaskManager启动之后,向 Flink的资源管理器注册自己的可用任务槽。
(7)资源管理器通知 TaskManager为新的作业提供 slots。
(8)TaskManager连接到对应的 JobMaster,提供 slots。
(9)JobMaster将需要执行的任务分发给 TaskManager,执行任务。

单作业( Per Job)模式

在单作业模式下,Flink集群不会预先启动,而是在提交作业时,才启动新的 JobManager。

(1)客户端将作业提交给 YARN的资源管理器,这一步中会同时将 Flink的 Jar包和配置
上传到 HDFS,以便后续启动 Flink相关组件的容器。
(2) YARN的资源管理器分配 Container资源,启动 Flink JobManager,并将作业提交给
JobMaster。这里省略了 Dispatcher组件。
(3)JobMaster向资源管理器请求资源( slots)。
(4)资源管理器向 YARN的资源管理器请求 container资源。
(5)YARN启动新的 TaskManager容器。
(6)TaskManager启动之后,向 Flink的资源管理器注册自己的可用任务槽。
(7)资源管理器通知 TaskManager为新的作业提供 slots。
(8)TaskManager连接到对应的 JobMaster,提供 slots。
(9)JobMaster将需要执行的任务分发给 TaskManager,执行任务。?

应用( Application)模式

应用模式与单作业模式的提交流程非常相似,只是初始提交给YARN资源管理器的不再是具体的作业,而是整个应用。一个应用中可能包含了多个作业,这些作业都将在 Flink集群中启动各自对应的 JobMaster。

YARN模式会话( Session)模式单作业( Per Job)模式应用( Application)模式
生命周期关闭会话后停止Job停止,集群停止当Application全部执行完,集群才会停止
资源隔离共享JobManager 和TaskManager单个Job独享JobManager 和TaskManagerApplication使用一套JobManager 和TaskManager
优点预先启动,启动作业不再启动。资源充分共享充分隔离,资源根据job 按需申请Client 负载低,Application之间实现资源隔离,Application
内实现资源共享
缺点资源隔离比较差,TaskManager不容易扩展job 启动慢,每个job 需要启动一个JobManager对per-job模式和session 模式的优化署
模式
main()在客户端上执行在客户端上执行在cluster上执行

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-08-19 19:12:48  更:2022-08-19 19:15:18 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 16:48:52-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码