[大数据] Hive select count(*)计数语句报错 FAILED: Execution Error return code 2 from org.apache.hadoop.hive.ql.exe

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Hive select count(*)计数语句报错 FAILED: Execution Error return code 2 from org.apache.hadoop.hive.ql.exe -> 正文阅读

[大数据]Hive select count(*)计数语句报错 FAILED: Execution Error return code 2 from org.apache.hadoop.hive.ql.exe

环境及报错现象

使用的hadoop是高可用集群。
自己写的MapReduce程序可以成功，但在Hive上执行select count(*)报错
在这里插入图片描述

解决办法

原因：HA机制下yarn-site.xml配置不完整。
解决办法：在yarn-site.xml中添加如下配置，重启hadoop。

	<property>
		<name>yarn.resourcemanager.webapp.address.rem1</name>
		<value>hadoop001:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rem2</name>
		<value>hadoop003:8088</value>
	</property>
#rem1,rem1为resourcemanager节点名

原因定位

hive命令窗口并没有抛出具体错误原因。需要去hadoop上查看详细报错原因。
1、进入hadoop集群web端管理页面，可以查看到刚开始执行的Mapreduce任务
在这里插入图片描述
2、点击任务，可以查看到任务详情。发现可能是org.apache.hadoop.mapreduce.v2.app.MRAppMaster没有加载成功，但还是不清楚为什么没有加载成功MRAppMaster。没有截图，找不到了。
3、直接去hadoop服务器查看报错日志。发现确实是加载MRAppMaster报错。
org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerException
在这里插入图片描述
4、拿具体报错日志百度一下。终于找到原因：高可用hadoop集群，在MRClientService的WebApp创建过程出错，导致WebApp对象为null，后边调用了WebApp的getHttpPort()方法，导致空指针。需要配置yarn-site.xml文件。