[大数据]Flink-Day01

一.产生

? ? ? ? 背景:实时数据处理所带来的价值远远大于离线处理,所以需要一个优秀的流处理框架来进行流数据的处理操作.

? ? ? ? 流数据:一行一行的数据记录

? ? ? ? 一个优秀的流处理引擎标准要求:低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高、运行效果好等

二.概念

????????由Apache软件基金会开发的开源流处理框架,核心由Java和Scala编写的,应用与对有界和无界的数据流进行有状态的计算

????????无界数据流：即为实时数据流????????

????????无界数据流：即为离线数据，批处理

2.1特点和应用场景

????????可以在所有常见的集群环境中运行，以内存速度和任何规模进行计算。能够达到实时流处理引擎的全部标准。

????????要求严格的实时流处理场景

2.2代码实现

? ? ? ? 实现方式:java API? ? ? ? Scala API

????????将实时和批处理均抽象成三个过程：Source->Transform->Sink

????????丰富的API和算子操作，支持sql编程，复杂度并不高

三.版本介绍

????????Flink早期就收到阿里的认可，并进行二次开发，名为Blink。

????????Blink主要优化再用户体验方面，比如SQL、UI等

????????在2019年反馈给Flink，并以Flink为主进行开发.学习使用的是1.13.1