IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> [1] Flink大数据流式处理利剑: 简介 -> 正文阅读

[大数据][1] Flink大数据流式处理利剑: 简介

1. Flink介绍

Flink是Apache基金会下的一个顶级项目,其是一个有状态计算的框架;既能处理无边界的数据流,也能处理有边界的数据流;同时Flink提供不同层次的API,从而满足不同的大数据业务处理场景。

那什么是流,任何类型的数据都可以形成一种事件流,比如,信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。

那么什么是有边界,什么是无边界;官方网站给了一张图和解释:

  • 无界流
    有定义流的开始,但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理,即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的,在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件,例如事件发生的顺序,以便能够推断结果的完整性。

  • 有界流
    有定义流的开始,也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序,所以并不需要有序摄取。有界流处理通常被称为批处理
    在这里插入图片描述

2. Flink的前世今生

Flink的官方代码地址: https://github.com/apache/flink/releases, 目前其在github上有17800 颗点赞!
在这里插入图片描述
其版本演化历史如下:

  • 2008:柏林理工大学的一个研究性项目Stratosphere
  • 2014-04:Stratosphere贡献给Apache基金会,成为Apache的孵化项目
  • 2014-12:成为Apache顶级项目
  • 2016-03:Flink 1.0.0
  • 2019年1月8日,阿里巴巴以9000万欧元收购该公司!
  • 2021年4月:最新的版本为Flink 1.13.0
  • 2021年09月29日 最新的版本为Flink 1.14.0
  • 2021年12月22日,发布了Apache Flink StateFun Log4j 紧急修复版本

3. Flink特点和应用架构

  • 支持Scala和Java API
  • 支持批流一体
  • 同时支持高吞吐、低延迟、高性能
  • 支持事件时间和处理时间语义,基于事件时间语义能够针对无序事件提供精确、一致的结果;基于处理时间语义能够用在具有极低延迟需求的应用中
  • 支持不同时间语义下的窗口编程
  • 支持有状态计算
  • 支持具有Backpressure功能的持续流模型
  • 提供精确一次(exactly once)的状态一致性保障
  • Flink在JVM内部实现了自己的内存管理
  • 基于轻量级的分布式快照CheckPoint的容错
  • 支持SavePoint机制,手工触发,适用于升级
  • 支持高可用性配置(无单点失效),与k8s、Yarn、Apache Mesos紧密集成。
  • 提供常见存储系统的连接器:Kafka,Elasticsearch等
  • 提供详细、可自由定制的系统及应用指标(metrics)集合,用于提前定位和响应问题

下面是其一个基本的应用架构例子。
在这里插入图片描述
Flink整个组件的层级如下:
在这里插入图片描述

4. 不同框架比较

下图是其与当前业界大数据主流流式计算框架的比较
在这里插入图片描述

5. 案例

参考文献

https://github.com/apache/flink
https://flink.apache.org/usecases.html
https://flink.apache.org/flink-architecture.html

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-26 22:16:11  更:2021-12-26 22:17:18 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 12:35:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码