0. 相关文章链接

大数据基础知识点文章汇总

1. Hudi源码包下载

????????因为Hudi不像Hive、Hadoop等组件一样，解压安装即可使用；而是需要先下载源码，然后根据需要的Hudi版本以及各集成的组件（包括Spark等）版本进行编译；所以需要先下载Hudi的源码包，可以在github中下载，下载地址：GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.

2. 基于CentOS7编译Hudi（默认Spark等组件版本）

需要在centos7中安装mavne，maven下载安装教程：Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

可以修改CentOS7为国内镜像，修改教程：CentOS7 原生 yum 源修改为阿里 yum 源_yang_shibiao的博客-CSDN博客

上传对应的zip包，然后解压，解压后如下所示：

注：博主下载的是0.10.1版本，已对根目录进行重命名，并且因为博主已经进行编译，所以其中有packaging包

执行命令，进行编译，编译命令：?mvn package -DskipTests

因为编译时会下载相关maven依赖包，所以可以根据上述maven下载安装博文中所示，配置国内镜像，提高下载速度，具体编译时间根据机器和网络来判断，一共会下载1.5G左右的jar包，博主经过多次编译，在maven仓库中无任何Jar包时一共编译了6小时，当所有Jar都有再次编译时，7分钟可以编译完成，编译完成后如下图所示：

3. 基于windows编译Hudi（默认Spark等组件版本）

需要在windows中安装maven，并配置好相应的环境变量，可以参考maven下载安装教程：Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

从github上下载对应的hudi包，然后解压该包，会生成如下图所示内容：

在上述目录下执行maven的编译命令：?mvn package -DskipTests

前面30多个包能正常编译，会发现 hudi-integ-test包编译失败，如下图所示：

这是因为这是在windows环境中执行的，hudi-integ-test模块会执行linux环境下的 bash? 脚本，从而执行失败，需要把这个模块注释掉，再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容，于是两个test模块都注释掉，如下图所示：

再次执行编译脚本，运行成功，如下图所示：?mvn package -DskipTests

4. 基于windows编译Hudi（选择Spark等组件版本）

直接执行如下编译命令即可，可以选择对应的Spark版本和Scala版本等：?mvn clean package -DskipTests -Dspark3 -Dscala-2.12 ?

5. 基于CentOS7编译Hudi（选择Spark等组件版本）

直接执行如下编译命令即可，可以选择对应的Spark版本和Scala版本等：?mvn clean package -DskipTests -Dspark3 -Dscala-2.12 ?

6. 基于windows编译Hudi报错解决方案

如上第3节?基于windows编译Hudi（默认Spark等组件版本）所示，是因为hudi-integ-test模块会执行linux环境中的bash脚本，需要把hudi-integ-test模块注释，再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容，于是两个test模块都注释掉，这样就可以在windows中进行编译。