[大数据]CentOS7 Hadoop 伪分布式环境搭建以及Hadoop格式化

准备工具：Xshell7、xftp、VMware、Hadoop安装包、java安装包

版本：hadoop-2.6.0-cdh5.5.5.tar.gz、oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

找不到这俩资源的用我的安装包

链接：https://pan.baidu.com/s/14Smd27u8PFPWlujyUdxfBQ?
提取码：h5oa?

将hadoop和jdk安装包上传至虚拟机指定文件夹（/software）下

?利用xftp在/usr目录下创建java文件夹

解压java压缩包到指定路径

rpm -ivh /software/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm -C /usr/java

在根目录下创建hadoop文件夹，解压hadoop压缩包到指定路径

tar -zxvf /software/hadoop-2.6.0-cdh5.5.5.tar.gz -C /hadoop
?

配置java、Hadoop路径：

????????配置 /etc/profile文件：vi /etc/profile

? ? ? ? 按i进入编辑模式，移动光标至最下方，添加如下代码

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #添加java和hadoop环境变量
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop/hadoop-2.6.0-cdh5.5.5  

????????按esc退出编辑模式，输入? ?:wq? 保存编辑（此处要输入英文冒号）

????????输入source /etc/profile? ?重启配置，使之生效

在线安装rsync

? ? ? ? yum install rsync

安装ssh

????????yum install ssh

设置ssh免密

????????ssh localhost ? #检查是否设置免密，如果提示需要你输入密码，则说明没有配置免密

????????ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

????????cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

????????chmod 0600 ~/.ssh/authorized_keys

到这里就配置成功了，可以再输入ssh localhost检查一遍

配置Hadoop

????????cd /hadoop/hadoop-2.6.0-cdh5.5.5/etc/hadoop

????????修改 core-site.xml

????????添加：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

? ? ? ? :wq? ? 保存（注意，这里最好不要使用xftp编辑文件，可能会出现修改不成功的问题，建议还是使用xshell进行编辑）

????????修改hdfs-site.xml

? ? ? ? 添加：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>     #一个节点
    </property>
</configuration>

? ? ? ? :wq? ? ?保存退出

这里就已经配置完了。

格式化（不要重复格式化 容易出错）：

cd /hadoop/hadoop-2.6.0-cdh5.5.5/
bin/hdfs namenode -format

sbin/start-dfs.sh   //启动hdfs，不要使用start-all.sh 使用spark容易报错

?关闭防火墙：

????????systemctl stop firewalld

输入jps，查看是否正常启动，一般来说，出现namenode、datanode、secondarynode这几个就表示你的hadoop配置和格式化都没有问题

一些错误：

????????

出现上面这种错误的时候，有一个可能的原因就是你前面的配置和格式化出错了，这个时候?需要你去检查你上面配置的两个文件，有可能是<>尖括号不匹配的问题，建议这里使用notepad++进行编辑，它会自动检查html语法错误的，再就是查看你添加的配置信息和你的路径是否符合，然后重新格式化，如果格式化之后启动hdfs还是报这个错，就将/hadoop/hadoop-2.6.0-cdh5.5.5/etc/hadoop下hadoop-env.sh文件重新设置java路径 export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera，然后重新格式化，再次启动hdfs。

?

?