[大数据]Flink编译踩坑记录

最近因为项目需要在flink源码中更改一些内容，以支持项目开发，在修改和编译flink源码时遇到了一些问题，特此记录，以帮助其他人避免踩坑

1. 首先要从github上clone一份源码，源码地址

2. 将项目导入IDEA后，会发现整个flink项目巨大，包含很多module，故此可以根据自己需要将不需要的module注释掉，flink各module之间不是强耦合，只留下自己需要的module也可以顺利打包。

3. 注释掉不需要module后，建议先打包一些，以下载所需依赖包，以及排查项目问题。

打包过程中可能会遇到某些依赖包在阿里云仓库找不到，在settings中添加如下镜像地址

<mirror>
? ? ? ?<id>nexus-hortonworks</id>
? ? ? ?<mirrorOf>central</mirrorOf>
? ? ? ?<name>Nexus hortonworks</name>
? ? ? ?<url>https://repo.hortonworks.com/content/groups/public/</url>
? ?</mirror>
? ?<mirror>
? ? ? ?<id>central</id>
? ? ? ?<name>Maven Repository Switchboard</name>
? ? ? ?<url>http://repo1.maven.org/maven2/</url>
? ? ? ?<mirrorOf>central</mirrorOf>
? ?</mirror>
? ?<mirror>
? ? ? ?<id>central2</id>
? ? ? ?<name>Maven Repository Switchboard</name>
? ? ? ?<url>http://repo1.maven.apache.org/maven2/</url>
? ? ? ?<mirrorOf>central</mirrorOf>
? ?</mirror>

1. 顺利打包以后，则可以根据自己工作需要更改部分代码，更改好需要再打包。因为flink的部分代码是用scala编写，而scala的2.11和2.12并不兼容，故此需要根据自己项目情况用不同版本scala编译打包。因为flink默认是2.11，故此如果是需要2.11版本直接打包即可；如果需要2.12版本，需要在打包时指定参数 -Dscala-2.12，如果是需要本地使用，则可以直接使用mvn clean install -DskipTests -Dscala-2.12直接将代码打包install到本地仓库中

2. 如果只需要打包某一个模块，可以使用如下命令

   mvn?-pl?flink-table/flink-table-api-scala-bridge?-am?clean package install?-DskipTests?-Duse.scope=provided?-Dscala-2.12?-DskipTests

   mvn参数-pl指定打包的module，如果是多级可以用/来指引过去；-am参数是将依赖项目同时编译打包，如果没有该参数如果依赖其他module的话，可能会报错；

   ps：在编译scala代码内容时候，使用本机安装mvn命令会有如下错误，目前也没能解决，在使用IDEA的mvn则可以正常编译成功。本以为是scala环境原因，但是在本机安装scala之后该问题依然存在，如果有大佬知道原因及解决方法还请指点一下，多多感谢！

   [INFO] Reactor Summary?for?Flink : Table :?1.13-SNAPSHOT:
   [INFO]?
   [INFO] Flink : Table : .................................... SUCCESS [ ?8.667 s]
   [INFO] Flink : Table : Common ............................. FAILURE [?35.132 s]
   [INFO] Flink : Table : API Java ........................... SKIPPED
   [INFO] Flink : Table : API Scala .......................... SKIPPED
   [INFO] Flink : Table : API Scala bridge ................... SKIPPED
   [INFO]?------------------------------------------------------------------------
   [INFO] BUILD FAILURE
   [INFO]?------------------------------------------------------------------------
   [INFO] Total time: ?45.213 s
   [INFO] Finished at:?2021-08-25T17:12:58+08:00
   [INFO]?------------------------------------------------------------------------
   [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.0:compile (default-compile) on project flink-table-common: Compilation failure
   [ERROR] No compiler is provided?in?this environment. Perhaps you are running on a JRE rather than a JDK?