|
iceberg源码下载重新编译
下载地址：https://github.com/Ghostfyx/iceberg
下载的已经发布的最新版本：0.11.1分支
下载之后用IDEA打开项目，项目由gradle构造，在本机IDEA中没有安装gradle插件，打开项目IDEA打开会自动下载gradle的插件。
下载之后直接运行jar进行编译打包。
其中会报几个错误，看错误不是打包问题，是对代码审核的问题，不影响代码编译
源码模块：
Iceberg 内部支持的模块:
iceberg-common： 还在研究中。官方给的解释是给其他模块调用的一个工具模块
iceberg-api： iceberg定义的公共操作表的接口模块
iceberg-core： 是对iceberg-api接口的实现，是icebere自身引擎支撑模块
iceberg-parquet： 用于支持处理Parquet文件格式的模块
iceberg-arrow： 读取底层Parquet文件加载进Arrow
iceberg-orc： 用于支持处理ORC文件格式的模块
iceberg-hive-metastore：用于支持iceberg连接hive metastore客户端的切操作hive元数据模块
iceberg-data： 用于直接从JVM应用程序处理iceberg
外部计算引擎支持iceberg模块
iceberg-spark2： 针对spark2计算引擎集成支持iceberg模块
iceberg-spark2-runtime： 源码无代码实现只是再打包中将iceberg-spark2模块打包成iceberg-spark2-runtime.jar
iceberg-spark3： 针对spark3计算引擎集成支持iceberg模块，引入实现了了catalog模式
iceberg-spark3-runtime： 源码无代码实现只是再打包中将iceberg-spark3模块打包成iceberg-spark3-runtime.jar
iceberg-flink： 针对flink计算引擎集成支持iceberg模块
iceberg-flink-runtime: ?源码无代码实现只是再打包中将iceberg-flink模块打包成iceberg-flink-runtime.jar
iceberg-mr： 针对hive计算引擎集成支持iceberg模块
iceberg-hive3：针对hive计算引擎集成支持iceberg模块，看源码好像是针对不同的jdk确认否打包到hive jar包
iceberg-hive-runtime： 源码无代码实现只是再打包中将iceberg-mr或者iceberg-hive3模块打包成iceberg-hive-runtime.jar
iceberg-pig： 针对pig计算引擎集成支持iceberg模块
iceberg-aws：针对S3集成支持的iceberg模块
?
|