文章目录
source
对于flink sql 中的source 无奈就两种
.流表 比如数据源是kafka 或者mq等动态数据源
维表数据源是mysql/hbase/redis等静态数据源
datastream 定义一个source的基本内容
- source , sink 的connector 连接配置信息(sql中connector)
- source , sink的序列化方式信息(sql 中format字段)
- source,sink的字段信息 (sql source ,sink field 信息)
- source, slink对象 (sql 中 source、sink catalog_name、db_name、table_name)
例如:
https://ci.apache.org/projects/flink/flink-docs-release-1.14/zh/docs/dev/table/sql/create/#create-table
MetaData : 将sql create source table 转化为实际的CataLogTable 翻译为RelNode
PLanning: 创建RelNode的过程中使用SPI 将所有的source( DynamicTableSource) 和sink (DynamicTableSinkFactory) : 工厂动态加载获取到 connector=kafka,然后从所有source工厂中过滤出名称为kafka 同时继承 DynamicTableSourceFactory.class 的工厂类
kafkaDynamicTableFactory,使用kafkaDynamicTableFactory创建出KafkaDynamicSource
Runtime: KafkaDynamicSource 创建出FlinkKafkaConsumer,负责flink 实际运行