[大数据]Spark加载HDFS parquet数据批量插入HBASE例子及一个问题优化

场景

HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。
中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一致卡着，提示：
INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table:
网上没超导怎么解决，最后自己优化了一下代码解决了

代码

主函数:HBase2HDFSLocalTest

import org.apache.spark.sql.{
   DataFrame, SparkSession}
import org.apache.spark.sql<

了解本专栏 订阅专栏 解锁全文 学习会员免费看 赠一年