一.Flink简介

? ? ? ? 1.简介? ? ?

????????????????由Apache软件基金会开发的开源流处理框架

????????????????其核心是用Java和Scala编写的框架和分布式处理引擎

????????????????用于对无界和有界数据流进行有状态计算。

? ? ? ? 2.Flink对于实时与离线的定义

????????????????无界数据流:?即为实时流数据

????????????????有界数据流：即为离线数据，也称为批处理数据

????????3.Flink的特点特征

????????????????被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

????????????????能够达到实时流处理引擎的全部标准要求。

????????????????低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高与运行效果好的用户体验等主要方面。

二.Flink架构设计

? ? ? ? 1.架构设计图

????????

? ? ? ? ?2.架构分层设计

????????????????物理部署层-deploy层

????????????????Runtime核心层

????????????????API &?Libraries层

????????????????????????API层包括两部分

????????????????????????流计算应用的DataStream API

????????????????????????批处理应用的DataSet API

????????????????????????统一的API，方便用于直接操作状态和时间等底层数据

????????????????????????提供了丰富的数据处理高级API，例如Map、FllatMap操作等，

????????????????????????并提供了比较低级的Process Function API

????????3.运行模式

????????????????????????本地运行模式

????????????????????????standalone模式

????????????????????????集群运行模式

????????????????????????????????session模式

????????????????????????????????per-job模式

????????????????????????????????application模式

????????????????本地运行模式

????????????????????????运行过程：一个机器启动一个进程的多线程来模拟分布式计算。主要用于代码测试

????????????????standalone模式

????????????????????????运行过程：完全独立的Flink集群的模式，各个环节均Flink自己搞定。并没有yarn、mesos的统一资源调度平台。主要是只有纯Flink纯计算的场景，商用场景极少。

????????????????集群运行模式

????????????????????????Flink Session 集群(会话模式)

????????????????????????????????特点:客户端与Flink作业集群相互同步

????????????????????????????????细节描述yarn-session.sh客户端将 Flink 集群提交给 YARN，但客户端保持运行，跟踪集群的状态。如果集群失败，客户端将显示错误。如果客户端被终止，它也会通知集群关闭。

????????????????????????Flink Job 集群(per-job模式）

????????????????????????????????注意事项：由于 ResourceManager 必须应用并等待外部资源管理组件来启动 TaskManager 进程和分配资源，所以其实时计算性并没有session模式强，因此 Flink Job 集群更适合长期运行、具有高稳定性要求且对较长的启动时间不敏感的大型作业。Flink Job 集群也被称为 job (or per-job) 模式下的 Flink 集群。

????????????????????????Flink Application 集群(应用模式)

????????????????????????????????该模式为yarn session和yarn per-job模式的折中选择。

????????????????????????????????工作流程特征说明将各个环节更进一步进行专用化处理，相当于每个FlinkJob都有一套专用的服务角色进程。

????????