概念
????????流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的,虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络、分布式等原因,导致乱序的产生,所谓乱序,就是指Flink接收到的事件的先后顺序不是严格按照事件的Event?Time顺序排列的。流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的,虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络、分布式等原因,导致乱序的产生,所谓乱序,就是指Flink接收到的事件的先后顺序不是严格按照事件的Event?Time顺序排列的。
那么此时出现一个问题,一旦出现乱序,如果只根据eventTime决定window的运行,我们不能明确数据是否全部到位,但又不能无限期的等下去,此时必须要有个机制来保证一个特定的时间后,必须触发window去进行计算了,这个特别的机制,就是Watermark。
- Watermark是一种衡量Event Time进展的机制。
- Watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用Watermark机制结合window来实现。
- 数据流中的Watermark用于表示timestamp小于Watermark的数据,都已经到达了,因此,window的执行也是由Watermark触发的。
- Watermark可以理解成一个延迟触发机制,我们可以设置Watermark的延时时长t,每次系统会校验已经到达的数据中最大的maxEventTime,然后认定eventTime小于maxEventTime?-?t的所有数据都已经到达,如果有窗口的停止时间等于maxEventTime?– t,那么这个窗口被触发执行。
Watermark 就是触发前一窗口的“关窗时间”,一旦触发关门那么以当前时刻为准在窗口范围内的所有所有数据都会收入窗中。
1. Watermark就是事件时间,代表当前时间的进展
2. Watermark主要用来处理乱序数据,一般就是直接定义一个延迟时间,延迟触发窗口操作 这里的延迟,指的是当前收到的数据内的时间戳
3. Watermark延迟时间的设置,一般要根据数据的乱序情况来定,通常设置成最大乱序程度 如果按照最大乱序程度定,那么就能保证所有窗口的数据都是正确的 要权衡正确性和实时性的话,可以不按最大乱序程度,而是给一个相对较小的watermark延迟 watermark延迟时间,完全是程序自己定义的,可以拍脑袋给一个数 最好的处理方式,是先了解数据的分布情况(抽样、或者根据经验、机器学习算法),可以指定一个合理的延迟,比较小,还能处理绝大多数乱序的情况
4. 关窗操作,必须是时间进展到窗口关闭时间,事件时间语义下就是watermark达到窗口关闭时间 当前Ts最大时间戳-延迟时间 = watermark,如果现在的watermark大于等于窗口结束时间,就关闭窗口
5. watermark代表的含义是,之后就不会再来时间戳比watermark里面的数值小的数据了 如果有不同的上游分区,当前任务会对它们创建各自的分区watermark,当前任务的事件时间就是最小的那个
6. 处理乱序数据,Flink有三重保证 watermark可以设置延迟时间 window的allowedLateness方法,可以设置窗口允许处理迟到数据的时间 window的sideOutputLateData方法,可以将迟到的数据写入侧输出流
窗口有两个重要操作:触发计算,清空状态(关闭窗口)
|