IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Flink典型应用场景 -> 正文阅读

[大数据]Flink典型应用场景

背景

随着网络迅速发展,大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下,了解并熟悉Flink常用的三大典型应用场景,对于我们理解并使用Flink具有很大的帮助。

事件驱动型应用

事件驱动表示一个事件会触发另一个或者是很多个后续的事件,然后这一系列事件会形成一些信息,基于这些信息需要做一定的处理。

通俗讲,事件驱动型应用是一类具有状态的应用,会根据事件流中的事件触发计算、更新状态或进行外部系统操作。

常见于实时计算业务中,比如:实时推荐,金融反欺诈,实时规则预警等。

常见的事件驱动型场景举例

  • 社交场景下,如用户点赞,关注某博主,被关注人的粉丝数就会发生变化。之后如果被关注的人发了一条动态,关注他的粉丝也会收到消息通知。
  • 网购的场景下,如用户给商品做评价,这些评价一方面会影响店铺的星级,另外一方面有恶意差评的检测。此外,用户通过点击信息流,也可以看到商品派送或其他状态,这些都可能触发后续的一系列事件。
  • 金融反欺诈的场景,诈骗者通过短信诈骗,然后在取款机窃取别人的钱财。在这种场景底下,我们通过摄像头拍摄后,迅速反应识别出来,然后对犯罪的行为进行相应的处理。
    事件驱动

数据分析型应用

用适当的统计分析方法将收集来的大量数据进行分析,将他们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

营销大屏,销量的升降,营销策略的结果进行环比、同比的比较,PV、UV 的统计,这些背后都涉及到大量信息实时的分析和聚合,都是非常典型的数据分析型应用场景。
数据分析

以淘宝双 11 为例,在 2020 年天猫双 11 购物节,阿里基于 Flink 的实时计算平台每秒处理的消息数达到了 40 亿条,数据体量达到 7TB,订单创建数达到 58 万/秒,计算规模也超过了 150 万核。
类似上图这种数据体量大,计算准确性要求高,结果要求快且准的场景,也是Apache Flink 非常擅长的。

数据管道型应用 (ETL)

ETL(Extract-Transform-Load)是从数据源抽取/转换/加载/数据至目的端的过程。

通俗讲,ETL就是从一个或多个数据源获取数据,进行一些转换操作和信息补充,将结果存储起来。如图
ETL
传统的 ETL 使用离线处理,经常做的是小时级别或者天级别的 ETL。
实时数仓要求在分钟级或者秒级就能够对数据进行更新,从而进行及时的查询,能够看到实时的指标,便于对业务做及时的判断与分析。

Flink使用何种方式来处理ETL?
一方面 Flink 有非常丰富的 Connector,支持多种数据源和数据 Sink,囊括了所有主流的存储系统。另外它也有一些非常通用的内置聚合函数来完成 ETL 程序的编写,因此 ETL 类型的应用也是它非常适合的应用场景。
etl2

参考文献

事件驱动应用
数据管道 & ETL

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-16 21:59:58  更:2021-07-16 22:00:07 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/9 4:24:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码