| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 一把辛酸泪-----DataNode假活 -> 正文阅读 |
|
[大数据]一把辛酸泪-----DataNode假活 |
记录一下历时四天的Hadoop改错历程! 本人hadoop使用的版本是hadoop-3.1.3的高可用(HA) 目录 问题描述:从错节点jps查看进程显示正常,DataNode和NodeManager都存在的, 但是运行程序的时候会报奇奇怪怪的错误,下面是会报的错误: ? 错误一:ERROR tool.ExportTool: Encountered IOException running export job: java.net.ConnectException: Call From hadoop01/192.168.17.128 to hadoop01:8020 failed on connection exception: java.net.ConnectException: Connection refused; 错误二:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp/hadoop-yarn/staging/root/.staging":root:supergroup:drwx------ 错误三:Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-865521925-192.168.17.128-1650628993926:blk_1073778545_37721 file=/tmp/hadoop-yarn/staging/root/.staging/job_1654186230804_0001/job.split 错误四:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 错误五:Caused by: Could not obtain block 发现问题:进入NameNode的9870端口(Hadoop2X的是50070) 发现DataNode不齐,jps查看所有的DataNode都是存在的。 找到问题了,DataNode假活!!!! ? 问题原因:DataNode已经死了,jps还是会出现DataNode和NodeManager! 解决:1、进入死了的DataNode节点,进入Hadoop的安装目录,删除data文件夹,重新启动,重新启动Hadoop从节点的data会重新生成! 2、重新启动后进入9870端口(Hadoop2X的是50070),我的是:hadoop01:9870 可能会出现文件损坏情况,如果出现,删除损坏的文件: (1)hadoop fsck /? ? ? ? (查看是否有损坏的文件) 最后出现Corrupt就是有损坏的文件 (2)hadoop fsck -delete? ? ? ? (删除损坏的文件) ? 最后重新执行程序!没有报错!我的错误解决了! ? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年1日历 | -2025/1/16 5:11:48- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |