[大数据]flink 集群启动方式，高可用服务及源码流程图解

集群组件介绍及启动方式

? ? ? ? SessionMode

? ? ? ? Per-Job

? ? ? ? ApplicationMode

集群高可用组件

????????Dispatcher? ?

????????ResourceManager? ?

????????WebMonitorEndpoint? ?

????????JobMaster

源码图解内容

????????1.DataStream流转

????????2.StreamGraph -> JobGraph -> ExecutionGraph 图流转过程

????????3.checkpoint 源码流程，barrier何时发送

????????4.消息数据通过netty发送

????????5.slot的管理与申请

集群组件介绍及启动方式:

主节点：????????ClusterEntrypoint? ? ? ?实则抽象类： ClusterEntrypoint

内部会启动三大核心组件：

? ? ? initializeServices() 初始化服务

1. Dispatcher? ? WebMonitorEndpoint 当中的 JobSubmitHandler 接收到一个请求处理之后恢复得到一个 JobGraph 转交给 Dispatcher去创建和启动一个 JobMaster 用来负责这个 Job 的执行

2. ResourceManager? ?管理集群的资源,slot的管理和申请工作

3. WebMonitorEndpoint? ?启动了一个 Netty 服务端,? 接收客户端的任务交给对应的handler处理

?从节点： TaskExecutor

下图为集群启动的方式：

? ? ? ? ? ? ? ?

高可用服务：

HighAvailabilityServices? 抽象类：AutoCloseable 默认zk实现，实现类是 ZookeeperHaServices

了解相应的组件介绍，则进入我们的源码图解部分。

源码图解：