IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Flink 成长之路专栏 - 导读目录 -> 正文阅读

[大数据]Flink 成长之路专栏 - 导读目录

目录

一.简介

二.Flink API 详解

三.Flink 常用 Demo 案例

四.Flink 线上开发异常解决与分析

五.心路历程


一.简介

Flink 成长之路是博主在接触并开发公司?Flink 线上项目后,从 API + 实战角度按顺序总结的专栏,Flink 版本适配 1.13.x、Scala 版本适配 2.11.x、2.12.x,其中大部分章节和 Demo 主要基于 Flink + Scala 的组合实现,少部分章节内容也涉及到 Java 的开发,其中很多内容都是在千万级别用户、十亿级别流量场景实战总结而来。?主要分为3个部分:

- Flink API 详解

- Flink 常用 Demo 案例

- Flink 线上开发异常解决与分析

后续也会继续基于开发场景总结更新这三部分内容 ...



二.Flink API 详解

基于官方 API 翻译并扩展,增加使用 Demo。

适用文章关键字
Scala1.Flink 入门 DemoSink、WindowFunction
Scala2.Flink DataSet 生成 DataSourceDataSet、readFile
Scala3.Flink DataStream 生成 DataSourceDataStream、addSource
Scala4.DataSet 常用 Transform 函数DataSet、transform
Scala5.DataStream 常用 Transform 函数DataStream、transform
Scala6.WatermarkStrategy 与 EventTimeWaterMark、EventTime
Scala7.DataSet 与 DataStream Sink 输出数据Sink、AddSink
Scala8.DataSet 应用 Broadcast VariablesDataSet、Broadcast
Scala9.DataStream Broadcast State 示例详解DataStream、Broadcast
Scala10.TimeWindow And TimeWindowAll 详解TimeWindow、TimeWindowall
Scala / Java11.Window Trigger 简介与使用Window、Trigger
Scala12.CountTrigger && ProcessingTimeTrigerCount、ProcsssTime Trigger
Scala13.CountAndProcessTimeTrigger 实现Count + ProcessTime Trigger
Scala / Java14.Flink 内存模型详解Flink Memory
Scala15.最新 StateBackend 状态后端详解StateBackend
Scala16.有状态算子和应用Demo详解ValueState
Scala17.Metrics 使用与详解Metrics
Scala18.KeyedState 简介与使用KeyedState、Descripttor

三.Flink 常用 Demo 案例

线上开发以及基础项目实现 Demo 与调优。

适用文章关键字
Scala1.使用 CountWindow 实现按条数触发窗口CountWindow、WindowFunction
Scala2.使用 RedisSink 存储数据RedisSink、Jedis
Scala / Java3.Flink 读取 Parquet 文件readFile、parquet、schema
Scala4.BroadCast 数据先到再处理 Source 数据Broadcast、ValueState
Scala5.ProcessFunction 之间共用缓存测试ProcessFunction、Cache
Scala6.Jedis、JedisPool 作为 Source 读取数据Jedis、Source
Scala / Java7.大规模状态 ValueState IO 实践与优化ValueState、Statebackend、IO
Scala8.Timer 与 TimerService 源码分析与详解TimerService、OnTimer
Scala9.Kafka 下发消息过大分析Kafka、Record
Scala10.ProcessFunction 使用缓存详解ProcessFunction、Cache
Scala11.大规模状态 ValueState 内存实践与优化ValueState、Statebackend、内存
Scala12.Aggregate 详解与 UV、PV 统计实战Aggregate、UV、PV
Scala13.TimeWindow 处理迟到数据详解TimeWindow、LateData
Scala14.AllWindow & KeyedProcess 处理 TopKAllWindow、KeyedProcess、TopK
Scala15.Stream 基本合流操作 - Union & ConnectStream、Union、Connect
Scala16.Stream 基于时间合流Join、CoGroup、IntervalJoin

四.Flink 线上开发异常解决与分析

本地测试与线上运行遇到的异常与分析排查解决。

适用文章关键字
Scala1.新增 BroadcastStream 无 watermarkBroadcastValue、WaterMark
Scala2.non serializable fields 无法序列化问题Object、Serializable
Scala3.InternalError: Malformed class nameMalformed、Case Class
Scala4.util.RetryCounter.sleepUntilNextRetryHbase、backpressure
Scala5.Failed to start Queryable State Data ServerLocal、Linux
Scala6.FixedDelayRestartBackoffTimeStrategyRecover、Restart Strategy
Scala7.Java8ClosureRegistrar.areOnJava8()ZNoSuchMethod、arOnJava8()Z
Scala8.NumberFormatException: Not a version: 9NumberFormat、LocalCache
Scala9.The heartbeat of TaskManager Timed OutTM、Headtbeat、Timed Out
Scala10.Not all required task are currently runningCheckpoint、Running

五.心路历程

想着 20 年第一次接手离职同事的 Flink 项目,当时是还是用 Flink 1.8?+ Java 开发,不断学习了一年多,22年正好有新的项目需求和 Flink 十分匹配,也借此机会把? Flink 的一些基础知识相对系统的过了一遍,由于自己开发 Scala 居多,所以还需要把 java 相关语言都转换到 Scala,同时新项目大概从 3 月迭代到 9月,期间也是不断增加需求,不断线上出错最终也是不断踩坑不断调整,终于达到了现在高并发高可用的状态。通过不断更迭项目也对 Flink 有了新的认识,再重新回看很多当年觉得晦涩难懂的概念,有一种恍然大悟的感觉。最明显的就是对 WaterMark 水位线的理解,记得最早接触这个概念在 CSDN 搜了一篇大佬的博客,看了好几遍也没明白所以然,好在后来没有放弃,看书看博客写代码测试,总算是搞明白一点。?不管怎样,坚持一定会有收获,加油吧 !💪

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-10-17 12:41:08  更:2022-10-17 12:45:30 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年4日历 -2025/4/22 15:39:51-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码