问题背景
使用的是Ambari 2.7.3大数据平台，原本集群要开启namenode高可用，但是因为某些搞不定的原因重新安装了集群，针对Hive数据做了备份，然后在当前集群环境做了数据恢复。所有的数据通过Hive都可查询。但是有程序执行读写Hive数据的时候报错UnknownHostException: nameservice01，具体如下
Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice01
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445)
at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:132)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:354)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:288)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:177)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
问题分析
- nameservice01的确是开启高可用的时候默认的连接配置，但是当前集群里的配置文件找遍了都没有发现相关的内容
- 而且报这些错误的数据都有个特点，都是程序执行时，SparkSQL直接写出的表，Hive原生的表是没问题的，而且读取和写入都会报这个错。
- 既然这样，猜想SparkSQL直接写出的表和Hive原生的表可能表结构会有区别，使用指令show create table xxx;查看建表语句。
- 对比一看发现Hive原生的表的建表语句只有LOCATION一项指定了数据文件的位置，但是SparkSQL直接写出的表有两项LOCATION和WITH SERDEPROPERTIES 中的path，而且LOCATION是当前集群hdfs上的正确路径，但path还是以前高可用集群的配置。
问题解决
可以把path的配置改成和LOCATION一样就行了。
执行语句如下
ALTER TABLE db1.tb1 SET SERDEPROPERTIES ( 'path'='hdfs://xxxx:8020/warehouse/tablespace/managed/hive/db1.db/tb1')
扩展
通过这个问题可以看出sparksql直接存储数据和存储到Hive表还是有区别的，多了一些属性，像这个path就是sparksql读取数据的路径配置，并不是LOCATION
|