IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Flink简介—大数据技术 -> 正文阅读

[大数据]Flink简介—大数据技术

Flink是什么?

Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。

国内使用Flink的企业,挺多的

为什么要用Flink?

  • 流数据更加符合生活中数据的真实性

  • 传统的数据架构均是基于有限数据集的

  • Flink可以实现低延迟、高吞吐、结果的准确性和良好的容错性

哪些行业中需要处理流数据?

  • 电商和市场营销:数据报表、广告投放、业务流程需要

  • 物联网(IOT):传感器实时数据采集和显示、实时报警,交通运输业

  • 电信业: 基站流量调配

  • 银行和金融业:实时结算和通知推送,实时检测异常行为

Flink 的主要特点

  • 事件驱动(Event-driven)

  • 基于流的世界观:在 Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流:这就是所谓的有界流和无界流

  • 分层API:越顶层越抽象,表达含义越简明,使用越方便;越底层越具体,表达能力越丰富,使用越灵活

  • 支持事件时间(event-time)和处理时间(processing-time)语义

  • 精确一次(exactly-once)的状态一致性保证

  • 低延迟,每秒处理数百万个事件,毫秒级延迟

  • 与众多常用存储系统的连接

  • 高可用,动态扩展,实现7*24小时全天候运行

Flink和Spark Streaming有什么区别?

  • Flink是流(stream),而Spark Streaming是微批(micro-batching)

? 数据模型:

– spark 采用 RDD 模型,spark streaming 的 DStream 实际上也就是一组 组小批

数据 RDD 的集合

– flink 基本数据模型是数据流,以及事件(Event)序列

  • 运行时架构

– spark 是批计算,将 DAG 划分为不同的 stage,一个完成后才可以计算下一个

– flink 是标准的流执行模式,一个事件在一个节点处理完后可以直接发往下一个节

点进行处理

感谢大佬们点赞、关注o(╯□╰)o 

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-19 12:07:10  更:2021-08-19 12:09:10 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 13:17:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码