[大数据]Spark读取HDFS加密区数据乱码问题解决

因为项目需求，需要启用hdfs加密区，为了验证对现有程序的影响，我在自己的集群上配置了加密区，并测试spark和java程序读取数据。

spark程序代码如下

    System.setProperty("HADOOP_USER_NAME", "user1")

    val spark = SparkSession
      .builder()
      .master("local")
      .getOrCreate()

    // val data = spark.read.text("/user1/a.txt")
    val data = spark.read.text("/user/user1/a.txt")
    data.show()
 

一开始我读取到的是乱码，

?网上关于java和spark读取hdfs加密区数据的资料极少，基本都是在讲解hdfs加密区实现原理，或者使用命令行进行操作，而且都模糊的说道支持Hadoop客户端透明读写数据。我在网上搜索很久仅在一篇文章中找到明确说明spark程序无需任何更改即可读写加密区数据，因此我以为spark需要进行特殊配置或者更改代码。

后来无意中新建了一个项目，把代码拷过来，发现能正常读取数据。

仔细排查之后才发现是依赖的问题。?

?我在pom中添加了spark 2.3.0，以为会传递依赖到hadoop2.6.0。但是实际上因为我还添加了hbase1.2.6，最终maven引用的是hadoop2.0！！！

hadoop2.6才开始支持加密区，用2.0的代码是不行的，但是读取数据竟然不会报错。后来测试写入数据是会报错的。

总结，spark读取hdfs加密区乱码是因为项目依赖的hadoop版本不对。

注：如果不是使用hdfs-site,core-site配置文件，而是在文件路径中加入hdfs://地址:端口这种方式，需要配置dfs.encryption.key.provider.uri，代码如下。java和spark同理

    System.setProperty("HADOOP_USER_NAME", "user1")

    val spark = SparkSession
      .builder()
      .master("local")
      .config("dfs.encryption.key.provider.uri", "kms://http@hadoop01:16000/kms")
      .getOrCreate()

    val data = spark.read.csv("hdfs://192.168.1.237:8020/user/user1/a.txt")
    data.show()