| iceberg调研checklist清单 | |||||
| 序号 | 功能点 | 问题现象 | 解决方案 | 结论 | 是否解决 |
| 1 | iceberg在Hive、Spark、Flink 中ddl 基本操作表 | 1.SQL的方式分在hive建表在spark，flink中查看、操作不了； 2.SQL的方式分spark或者flink建 表在hive中查看、操作不了； | 1.hive建表中要添加 ROW FORMAT SERDE ? 'org.apache.iceberg.mr.hive.HiveIcebergSerDe' STORED BY ? 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' ； 同时 在TBLPROPERTIES? 中配置 'engine.hive.enabled' = 'true'； | 1.各引擎中dll 操作表略有不同， 支持hive操作的要注意配置指定项; 2.spark 中ddl 操作丰富一些，支持力度高 | ?是 |
| 2 | catalog 引用 | 1.进入库中，iceberg表与hive 表同时查看不了 | 1.注册hive的catalog ,同时也注册iceberg表的catalog, 切换到hive的catalog 使用show tables 可以同时看到hive表 和iceberg 表 | 1.catalog 类型不同，使用的表的时候最好要写全名称 即 catalog.database.table | 是 |
| 3 | 隐藏分区 | 1.spark建表隐藏分区表，hive 与flink 看不了 | 1.隐藏分区只能在spark中建立，hive，flink不支持，使用的时候icerberg 表自动权限条件进行筛选 | 1.隐藏分区一般用在时间上，使用相对应的时间转换函数 进行转换 | 是 |
| 4 | Metadata/metadata.json 文件过多 | 1.每次checkpoint 都会会产一个新的文件，导致metadata.json过多 | 1.配置 'write.distribution-mode'='hash', 'write.metadata.delete-after-commit.enabled'='true', 'write.metadata.previous-versions-max'='5', 保持最近5个，加上正在使用的，一共能看到6个，这个数字可配置 | 1.0.11版本后可以实现自动合并 | 是 |
| 5 | Metadata/snap.avro? 快照过期 | 1.每次checkpoint 都会会产一个新的快照，根据官方文档发现只能 手动执行Spark 或者Flink 的java API 才能设置过期，想看看能不能t和metadata.json 一样，通过配置实现自动清理 | 1.暂时没有发现自动设置过期快照，目前只能通过 java API的方式 实现，指定时间戳 | 自动设置过期功能期待中 | 是 |
| 6 | data 小文件过多合并清理删除 | 1.每次checkpoint 都会会产一个新的文件，导致数据小文件过多， 通过java API可以实现合并，定期删除孤文件，根据业务时间进行的分区，发现有操作分区，删除不掉孤文件； 2.如果快照时间过期设置比较靠近当时快照，在执行合并和删除孤文件，有可能会导致 程序报错，流写入程序也报错的情况 | 1.发生此现象是由于 合并文件中间的时间差过短，短时间内执行合并操作，发现并无变化，隔长时间段再次合并，如果发现合并后产生的新的文件，那么就可以清理掉 2.如果不指定时间，默认会删除3天前的孤文件，如果指定了时间，离快照比较近，因为是流式入湖的流式数据，和压缩合并程序在同时操作一个表，如果该程序在删除无用文件的同时，其他两个程序很有可能正在读取或者写入，这样会导致删除了一些元数据文件，两程序会报错 | 设定快照过期的时间之前的文件 才能形成孤文件，才能被删除 | 是 |
| 7 | v1 v2 表流读流写 | 1.v1表支持流读流写，v2支持流写，不支持流读 2.v1数据是 append 的不是 change log stream , 导致过多的无用数据 3.v2 是支持 upsert ，操作，却不支持下游流读，形成不了pipeline | 1.目前尝试spark merge into 方案，在验证中 | spark merge into 最终生成的是overwrite 操作，overwrite 不能流读，所以结论就是 流表 只做append , change log stream 只能做结果表 | 是 |
| 8 | 表中时间的读取 | 1.flink建表字段，timestamp 在spark 中查无法查看 | 1.flink timestamp 分有时区与无时区的概念，spark查看， 需要配置 set `spark.sql.iceberg.handle-timestamp-without-timezone`=true;? | flink与spark时间字段略有不同，细节问题 | 是 |
| 9 | flink读流表 | 1.直接读取发现是批读 | 1.flink 默认是批读，流读要指定参数 SET execution.type = streaming ; SET table.dynamic-table-options.enabled=true; select * from sample_stream_test01 /*+ OPTIONS('streaming'='true', 'monitor-interval'='1s')*/? ; | 注意官方API | 是 |
| 10 | flink流kafka表写入到iceberg表 | 1.正常提交任务，任务也很正常，有数据byte流动，,iceberg表中却无数据 | 1.设置checkpoint点，才能正常写入 | iceberg 必须得设置checkpoint | 是 |
| 11 | spark 代码 流读表 | 1.sparkspark.readStream.format("kafka"), df.writeStream.format("console") ?.trigger(Trigger.ProcessingTime("2 seconds")) 打印不出来数据 | 1.一定要设置.option("checkpointLocation", "~/tmp/ll") 路径， 路径根据实际情况是否写本地，或者 hdfs | 1.如果发现也都设置了还是没有执行不了， 可手动 删除 指定路径 | 是 |
