[大数据]hadoop云服务器刚开始使用时，出现的相关报错

hadoop云服务器刚开始使用时，出现的相关报错

楼主最近在学习b站up主尚硅谷发布的hadoop x3.0视频，刚使用服务器做一些简单操作时遇到相关报错

*环境：centos7.5，hadoop x3.1.3 ，root账号操作，使用两台腾讯云服务器，一台天翼云服务器 *
云服务器分配方式：

报错一

java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as x.x.x.x:9866

INFO ipc.Client: Retrying connect to server: hadoop103/x.x.x.x:44810. Already tried 0 time(s); maxRetries=3

这两个报错大概就是连接上出了问题。

解决方法

确认hdfs和yarn都开启了，

关闭系统本身防火墙

每个云服务器平台防火墙应设置“只允许集群服务器ip 任意端口访问”

报错二

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[x.x.x.x:9866,DS-cfc70d8e-e005-4675-b21e-9e29bd13ac40,DISK]], original=[DatanodeInfoWithStorage[x.x.x.x:9866,DS-cfc70d8e-e005-4675-b21e-9e29bd13ac40,DISK]]). 

可能是之前对相关文件进行了更改，需要重新格式化。

解决方法

以下为格式化步骤

停掉yarn和hdfs
删掉$HADOOP_HOME下的logs,data
进行格式化（hdfs namenode -format）

然后建议重启一下

报错三

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:

解决方法

修改每台服务器$HADOOP_HOME/etc/hadoop/yarn-site.xml文件

首先查看classpath:输入 hadoop classpath
复制对应classpath，其中，将冒号改为逗号
之后进入yarn-site.xml文件，增加如下内容

<configuration>
  <property>
    <name>yarn.application.classpath</name>
    <value>复制的Hadoop classpath信息</value>
  </property>
</configuration>

然后建议重启一下