|
在测试往hive表中插入数据时报以下权限问题：
org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode="/app/.../test_table/_SUCCESS":Administrator:hadoop:-rw-r--r--
?? ?at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:252)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPathAccess(FSDirectory.java:1908)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2761)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2702)
?? ?at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2586)
?? ?at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:736)
?? ?at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:409)
?? ?at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
?? ?at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
?? ?at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
?? ?at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
?? ?at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
?? ?at java.security.AccessController.doPrivileged(Native Method)
?? ?at javax.security.auth.Subject.doAs(Subject.java:422)
?? ?at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
?? ?at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)
（读写时遇到读写问题一定要仔细阅读报错信息，可能解决方法甚至出现问题的原因都可以从日志中获取到）
上面的日志信息说明在访问inode节点的数据文件时权限受限（我这里是访问hive数仓报的权限问题），然后在仔细看日志信息可以看到hive账户有写权限，但是当前访问的账户是Administrator。Administrator账户一般是windows的默认账户名，所以我的情况是本地起的程序默认账户是Administrator，所以不能去写hdfs文件系统中需要hive账户才能操作的文件。这里解决思路有两个，一个是修改hdfs文件系统中该文件的访问账户限制。另一个则是清空指定路径下的所有文件（即变相的清空表中数据，但比清空表数据更彻底）。这样无论什么账户在指定的路径下都可以重新生成文件。因为表中数据是测试数据，我采用了第二种方式，直接删除了指定路径下的所有文件。这样本地测试就可以了。
（第二种解决方式还有一个弊端，就是再用hive账户增删改表中数据时又会报权限问题，这个时候还得再删一遍，因为这个时候的数据文件默认账户是Administrator）
|