架构图
所需组件
- 数据源：Mysql、MongoDB、Log日志
- 采集工具：Canal、Mongoshake、FileBeat、Flume
- 消息队列：Kafka
- 数据库：Kudu
- 计算引擎：Flink
- 查询引擎：Impala 查询UI：Hue
数仓分层
- ODS层：未加工过的原数据存在HDFS。包括binlog、oplog、用户行为数据。
- DWD层：Flink实时消费Kafka数据，对kudu表进行增删改或拉宽操作。
实现过程中需要注意的问题
- Binlog日志格式：必须是Row格式。
- Canal：需要Mysql数据库用来存放CheckPoint元数据。
- Flume：最好按天滚动存放原数据。滚动太频繁会造成NameNode元数据过多的问题。
- Flink：最好将元数据以广播变量方式同步给TaskManager。避免频繁查询或join。
- Kudu： 同步的业务表必须有主键。 拉链表需要设计额外字段。包括主键id、start_date、end_date。