Hadoop分布式搭建(一)
1.Hadoop官网下载3.1.2
网址 http://hadoop.apache.org/
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/
2.准备三台机器(本教程使用的虚拟机)
centos 7 安装教程可以看我的这篇
https://redis.blog.csdn.net/article/details/113755340
ssh免密登陆配置
略
3.安装JDK1.8
略
4.安装hadoop-3.1.2.tar.gz
把下载的 hadoop-3.1.2.tar.gz 传到服务器，我使用的工具是SecureCRT
解压：
解压时间大约半分钟
tar -zxvf hadoop-3.1.2.tar.gz
移动到 opt 目录
/usr：系统级的目录，可以理解为C:/Windows/，/usr/lib理解为C:/Windows/System32。
/usr/local：用户级的程序目录，可以理解为C:/Progrem Files/
/opt：用户级的程序目录，可以理解为D:/Software
mv hadoop-3.1.2 /opt/
5.配置环境
cd opt/hadoop-3.1.2/etc/hadoop/
vi hadoop-env.sh
直接在文件的最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export HADOOP_HOME=/opt/hadoop-3.1.2
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HADOOP_PID_DIR=${HADOOP_HOME}/pid
6.修改配置文件
- 1.修改core-site.xml
vi core-site.xml
增加
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.1.1.30:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/full</value>
</property>
- 2.修改hdfs-site.xml
vi hdfs-site.xml
增加
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>10.1.1.175:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>10.1.1.175:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
- 3.修改workers
vi workers
删掉localhost增加 三台主机ip
10.1.1.30
10.1.1.175
10.1.1.117
7 配置好的软件分发到其他主机
- 分发主机：10.1.1.175
scp -r hadoop-3.1.2 root@10.1.1.175:/opt
- 分发主机：10.1.1.117
scp -r hadoop-3.1.2 root@10.1.1.117:/opt
8 修改环境变量
- 修改配置文件 配置文件增加
vi /etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- 配置分发到其他主机
分发主机：10.1.1.175
scp /etc/profile root@10.1.1.175:/etc/profile
分发主机：10.1.1.117
scp /etc/profile root@10.1.1.117:/etc/profile
- 重新加载三台服务器的环境变量
每台机器分别执行下面命令
source /etc/profile
8.格式化NameNode
执行命令
hdfs namenode -format
启动 dfs 执行命令
start-dfs.sh
补充其他命令
# 关闭
stop-dfs.sh
9.测试集群
- http://10.1.1.30:9870
关闭集群
stop-dfs.sh