[大数据]大数据批流一体框架

大数据批流一体架构

黄大先生

创业者 游弋大数据+人工智能

这个是阿里的架构，flink能取的巨大的成功离不开阿里的贡献，其实flink本身就支持批处理和流式计算了，只是他本身只是个计算引擎，不做存储，所以就引入了hive数仓

用flink和hive实现了批流一体的架构。
具备实时流数据和离线数据的接入和分析能力。
支持kafka，socket等数据源

批流一体就是同时支持离线计算和实时计算
并且流数据可以和离线的批数据进行碰撞分析

针对离线数据，数据是离线数据，计算方式是批处理。对应批流一体中的批。支持流数据可以和离线的批数据进行碰撞分析