[大数据]5.Hive Server2

修改hdfs的超级用户权限

<!--在hdfs集群的core-site.xml文件中添加如下配置文件-->
<property>
	<!--修改的是hdfs权限，如果是aa用户就写成--><!--hadoop.proxyuser.aa.groups-->
	<name>hadoop.proxyuser.root.groups</name>	
	<!--这里用到的是*，所有用户都可以被伪装-->
	<!--可以指添加几个用户，用逗号分隔，只有这几个用户可以被伪装-->
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.hosts</name>	
	<value>*</value>
</property>

#配置完成之后重新启动集群，或者在namenode的节点上执行如下命令
hdfs dfsadmin -fs hdfs://tongyuzhe1:8020 -refreshSuperUserGroupsConfiguration
hdfs dfsadmin -fs hdfs://tongyuzhe2:8020 -refreshSuperUserGroupsConfiguration

修改tmp访问权限

#如果是其他用户名登陆可能会出现权限访问问题
#修改权限，允许所有用户访问tmp
hdfs dfs -chmod 777 /tmp

Hive Server2启动方式

#在beeline中JDBC操作的时候，使用路径文件使用的都是3节点的，而不是4节点的

方式1

#tongyuzhe3执行
#两种方式二选一
hiveserver2
hive --service hiveserver2

#tongyuzhe4通过hive或是beeline访问
#两种方式二选一
#先进入beeline再通过connect访问
beeline
!connect jdbc:hive2://tongyuzhe3:10000/default root 123

#直接通过beeline jdbc访问
#-n username password可填可不填
beeline -u jdbc:hive2://tongyuzhe3:10000/default -n root 123

方式2

#tongyuzhe3启动元数据服务
hive --service metastore

#tongyuzhe4
#两种方式二选一
hiveserver2
hive --service hiveserver2

#这样可以在任意一台包含beeline脚本的虚拟机中执行beeline的命令进行连接tongyuzhe4节点
#也可以通过JDBC链接tongyuzhe4节点，访问数据库
#也就是说，只要链接tongyuzhe4节点10000端口，都可以对数据库进行访问

其他

#在Hive Server2模式可以访问web端口tongyuzhe3:10002


#配置日志服务器端口10020后
#可以查看历史任务、分析查询数据等
#启动命令
mr-jobhistory-daemon.sh start historyserver


#数据量概念：分为数据大小与条数
#数据大小：GB，PB。
#数据条数：几千万条，几亿条。


#查看开放端口
ss -nal


官网：Hive Server2方式更推荐使用在生产环境中，因为他更加安全，不会要求我们直接访问hdfs和元数据