[大数据]Hadoop-3.2.x 安装

本章节阐述为在指定版本环境下示例安装，其它环境可根据实际情况参考安装

一. 环境版本

Hadoop 官网地址：https://hbase.apache.org/book.html#hadoop

二. 环境准备

• 参考上期博客：环境准备

三. 创建用户

• 创建 isi 程序用户， 创建 \u01 文件夹，授权给 isi 用户
  参考上期博客：创建用户

四. 上传解压

• 登录isi用户

  su isi
  

• 切换到 /u01 文件夹下，上传 hadoop-3.2.2.tar.gz，这里使用在线下载

  cd /u01
  wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
  tar zxvf hadoop-3.2.2.tar.gz
  

四. hadoop环境配置

• 切换root用户

  su root
  

• 将以下hadoop配置写入/etc/profile中

  # hadoop
  export HADOOP_HOME=/u01/hadoop-3.2.2
  export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
  export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  
  export HDFS_NAMENODE_USER=root
  export HDFS_DATANODE_USER=root
  export HDFS_SECONDARYNAMENODE_USER=root
  export YARN_RESOURCEMANAGER_USER=root
  export YARN_NODEMANAGER_USER=root
  

• 应用刷新 profile

  srouce /etc/profile
  

• 测试是否配置成功。
  

五. hadoop相关配置文件

• 修改 hadoop-3.2.2/etc/hadoop/hadoop-env.sh，取消并修改添加export JAVA_HOME=，使其值为我们解压出jdk的位置

  su isi
  cd /u01/hadoop-3.2.2
  vi etc/hadoop/hadoop-env.sh
  

  

• 修改 hadoop-3.2.2/etc/hadoop/core-site.xml

  vi etc/hadoop/core-site.xml
  

  

• 修改hadoop-3.2.2/etc/hadoop/hdfs-site.xml

  vi etc/hadoop/hdfs-site.xml
  

  

• 修改hadoop-3.2.2/etc/hadoop/mapred-site.xml

  vi etc/hadoop/mapred-site.xml
  

  

• 修改hadoop-3.2.2/etc/hadoop/yarn-site.xml

  vi etc/hadoop/yarn-site.xml
  

  

• 修改集群下的 hadoop-3.2.2/etc/hadoop/workers 文件

  vi etc/hadoop/workers
  

  

六. 启动hadoop

• 格式化NameNode，使用start-all开启所有进程，并且使用jps查看进程情况。

  hdfs namenode -format
  start-all.sh
  jps
  

• 浏览器进行hadoop服务的访问，http://localhost:9870