| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Flink使用指南:Flink SQL聚合场景下的优化方案,一定要收藏! -> 正文阅读 |
|
[大数据]Flink使用指南:Flink SQL聚合场景下的优化方案,一定要收藏! |
系列文章目录Flink使用指南: 教你Flink SQL自定义Connector开发,使用SQL入库更方便! Flink使用指南:Flink设置全局变量,并在函数中获取,让你的代码更加优雅! Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬! Flink使用指南: 面试必问内存管理模型,进大厂一定要知道! 目录 前言?老规矩,每日一图,女神镇楼图.... 我们都知道Flink多流Join的概念主要分为有界流Join和无界流Join 有界流Join主要实现方式是对流数据行范围性的开窗,开窗原则分为Count和Time两种,两种下面又挂了滚动,滑动,会话三种方式。 无界流Join主要实现方式是把两个流的数据全部缓存到状态后端,一般是RocksBackend。Join时会去状态后端查找数据。 今天我们就来讲讲在无界流Join时,由于数据缓存压力过大时候,我们该如何优化,总结了四点优化手段:
注意以上四种优化方案只在Blink planner时有效。 MiniBatch聚合MiniBatch 聚合的核心思想是将一组输入的数据缓存在聚合算子内部的缓冲区中。当输入的数据被触发处理时,每个 key 只需一个操作即可访问状态。这样可以大大减少状态开销并获得更好的吞吐量。但是,这可能会增加一些延迟,因为它会缓冲一些记录而不是立即处理它们。这是吞吐量和延迟之间的权衡。 下图说明了 mini-batch 聚合如何减少状态操作: 默认情况下 mini-batch 优化是被禁用的。开启这项优化,需要设置选项 table.exec.mini-batch.enabled、table.exec.mini-batch.allow-latency 和 table.exec.mini-batch.size。
Local-Global 聚合Local-Global 聚合是为解决数据倾斜问题提出的,通过将一组聚合分为两个阶段,首先在上游进行本地聚合,然后在下游进行全局聚合,类似于 MapReduce 中的 Combine + Reduce 模式。例如,就以下 SQL 而言:
数据流中的记录可能会倾斜,因此某些聚合算子的实例必须比其他实例处理更多的记录,这会产生热点问题。本地聚合可以将一定数量具有相同 key 的输入数据累加到单个累加器中。全局聚合将仅接收 reduce 后的累加器,而不是大量的原始输入数据。这可以大大减少网络 shuffle 和状态访问的成本。每次本地聚合累积的输入数据量基于 mini-batch 间隔。这意味着 local-global 聚合依赖于启用了 mini-batch 优化。 下图显示了 local-global 聚合如何提高性能。
拆分 distinct 聚合Local-Global 优化可有效消除常规聚合的数据倾斜,例如 SUM、COUNT、MAX、MIN、AVG。但是在处理 distinct 聚合时,其性能并不令人满意。 例如,如果我们要分析今天有多少唯一用户登录。我们可能有以下查询:
如果 distinct key (即 user_id)的值分布稀疏,则 COUNT DISTINCT 不适合减少数据。即使启用了 local-global 优化也没有太大帮助。因为累加器仍然包含几乎所有原始记录,并且全局聚合将成为瓶颈(大多数繁重的累加器由一个任务处理,即同一天)。 这个优化的想法是将不同的聚合(例如? 拆分 distinct 聚合后,以上查询将被自动改写为以下查询:
下图显示了拆分 distinct 聚合如何提高性能(假设颜色表示 days,字母表示 user_id)。 ?注意:上面是可以从这个优化中受益的最简单的示例。除此之外,Flink 还支持拆分更复杂的聚合查询,例如,多个具有不同 distinct key (例如? 注意:当前,拆分优化不支持包含用户定义的 AggregateFunction 聚合。
在 distinct 聚合上使用 FILTER 修饰符在某些情况下,用户可能需要从不同维度计算 UV(独立访客)的数量,例如来自 Android 的 UV、iPhone 的 UV、Web 的 UV 和总 UV。很多人会选择CASE WHEN,例如:
但是,在这种情况下,建议使用?
Flink SQL 优化器可以识别相同的 distinct key 上的不同过滤器参数。例如,在上面的示例中,三个 COUNT DISTINCT 都在? 博主目前专攻实时计算和计算平台研发,通信行业和电商行业背景,熟悉Flink Spark计算引擎和OLAP复杂查询,欢迎添加微信,一起交流 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年3日历 | -2025/3/4 2:39:22- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |