[大数据]Linux -HDFS部署

前言

• 安装zookeeper请参考Linux - zookeeper集群搭建
• zookeeper基本使用请参考zookeeper命令与API
• Hadoop理论学习请参考Hadoop理论
• HDFS理论学习请参考HDFS理论

以下操作环境均在Centos7服务器上面，一共四台服务器，node1、node2、node3、node4

准备&安装

官网下载hadoop，看准自己需要的版本，我自己这里就下载一个旧的版本使用了（3.2.3）

集群分布

配置

下载之后上传至其中一台服务器上，先配置好一天在将文件传给其他服务器上面，以下操作在node2上

mkdir /usr/local/hadoop   # 创建hadoop使用的目录
mkdir /usr/local/hadoop/full  # 创建一个目录后面配置使用
tar -zxvf hadoop-3.2.3.tar.gz   # 解压hadoop安装包
mv hadoop-3.2.3 /usr/local/hadoop/   # 移动解压后的安装包到目录
rm -rf /usr/local/hadoop/hadoop-3.2.3/share/doc/  # 删除hadoop文档，方便后面传输速度
vim /etc/profile   # 添加环境变量，在文件的最后添加

编辑profile文件添加

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

命令行执行

source /etc/profile   # 刷新文件
scp /etc/profile node1:/etc   # 将环境文件传给node1
scp /etc/profile node3:/etc   # 将环境文件传给node3
scp /etc/profile node4:/etc   # 将环境文件传给node4
# 由于node1上面没有zookeeper，传输的环境文件中有，将node1上的zookeeper环境删除
source /etc/profile  # 刷新4台机器上的环境文件

node2命令行

cd /usr/local/hadoop/hadoop-3.2.3/etc/hadoop   # 进入到hadoop需要配置的文件夹中，
vim hadoop-env.sh   # 进入配置，具体查看下面需要添加的配置
vim workers   # 配置datanode节点，hadoop3.0之前的版本是slaves文件,具体查看下面需要添加的配置
vim hdfs-site.xml  # 配置SecondaryNameNode位置，具体查看下面需要添加的配置
vim core-site.xml  # 配置namenode位置，具体查看下面需要添加的配置

编辑hadoop-env.sh文件

/JAVA_HOME  # 使用vim命令搜索Java配置路径，有的话就修改，没有的话就添加
export JAVA_HOME=/usr/local/jdk/jdk  # 添加上我们的jdk路径

编辑workers文件

node2
node3
node4

编辑hdfs-site.xml文件，进入文件查找到<configuration>标签，在标签中进行添加，同时可参考官网的配置文件

<configuration>
     <!-- SecondaryNameNode位置 -->
     <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>node2:9868</value>
     </property>
     <!-- 副本数 -->
     <property>
          <name>dfs.replication</name>
          <value>2</value>
     </property>
</configuration>

编辑core-site.xml文件，进入文件查找到<configuration>标签，在标签中进行添加，同时可参考官网的配置文件

<configuration>
	 <!-- 指定namenode地址 -->
     <property>
          <name>fs.defaultFS</name>
          <value>hdfs://node1:9000</value>
     </property>
     <!-- 指定hadoop临时目录位置 -->
     <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/full</value>
     </property>
</configuration>

node2命令行

cd /usr/local   # 进入到此位置，准备传文件
scp -r hadoop/ node1:/usr/local/   # 传给node1
scp -r hadoop/ node3:/usr/local/   # 传给node3
scp -r hadoop/ node4:/usr/local/   # 传给node4

node1命令行

hdfs namenode -format   # 格式化namenode
start-dfs.sh   # 启动
jps   # 可以通过查看进程，看四台机器是否启动

验证

浏览器打开 http://node1:9870
9870为默认端口，想自定义的话可以配置hdfs-site.xml文件，按照官网的文档配置即可

node2命令行

hdfs dfs -mkdir /usr   # 创建dfs文件夹
hdfs dfs -D dfs.blocksize=1048576 -put xxx.gz /usr  # 指定块大小为1M，查看块的副本，每个块必定在node2上留有副本（从那个datanode上传时每个块都会在那个节点产生副本）

node1命令行

hdfs dfs -D dfs.blocksize=1048576 -put xxxx.gz /usr  # 指定块大小为1M，查看块的副本，由于从namenode上传，所以与上面的不同

异常

在使用start-dfs.sh启动hdfs时报错
异常一：
node2: ssh: connect to host node2 port 22: Connection refused
本人的ssh端口并不是22所以这里会报异常，修改vim hadoop-env.sh文件，修改后传给其他几台机器，添加

export HADOOP_SSH_OPTS="-p 22022"  # 22022为ssh端口

异常二：
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.

cd /usr/local/hadoop/hadoop-3.2.3/sbin   # 进入文件夹
vim start-dfs.sh    
vim stop-dfs.sh

为上面的两个文件添加相同配置，在文件的上面添加

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改后传给其他几台机器

本专栏为大数据学习专栏，如有问题还望指出，共同学习！

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系