[大数据] Hive： Task failed task_ Job failed as tasks failed. failedMaps:1 failedReob failed as tasks failed

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Hive： Task failed task_ Job failed as tasks failed. failedMaps:1 failedReob failed as tasks failed -> 正文阅读

[大数据]Hive： Task failed task_ Job failed as tasks failed. failedMaps:1 failedReob failed as tasks failed

beeline在插入大批量的数据时报错，但是hive能插入

改为插入之前先查询一下，报出错误：GC overhead limit exceeded

这就好多了，不就是jvm内存溢出了嘛，因为hive能插入，所以不用改hive-site.xml配置文件，只改hive-env.sh就行，打开HADOOP_HEAPSIZE并调大，if语句中也跟着改

if [ "$SERVICE" = "cli" ]; then
   if [ -z "$DEBUG" ]; then
     export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xms10m -Xmx4096m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:+UseParNewGC -XX:-UseGCOverheadLimit"
   else
     export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xms10m -Xmx4096m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:-UseGCOverheadLimit"
   fi
fi
 
# The heap size of the jvm stared by hive shell script can be controlled via:
#
export HADOOP_HEAPSIZE=4096

JVM的三大性能调优参数：-Xms –Xmx –Xss

-Xss：每个线程堆栈最小值，可以根据具体可以进行调整。随情况而定

-Xms：heap设置的初始值。

-Xmx：heap设置的最大堆的值。

有错一定要看日志，下列举几个log目录：

1.看yarn任务执行的log

2.看/tmp/root/hive.log（如果你用的用户是dc_dev，就看/tmp/dc_dev/）

3.看/opt/hadoop/log/yarn-root-nodemanager-*.log（这个判断是节点所需要的内存超没超）