[大数据]Hadoop运行环境搭建

1、模板虚拟机的环境准备

1）ip地址192.168.112.100、主机名称hadoop100、内存2G、硬盘50G

2）安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

• net-tool：工具包集合，包含ifconfig等命令

[root@hadoop100 ~]# yum install -y net-tools 

• vim：编辑器

[root@hadoop100 ~]# yum install -y vim

3）配置网络 打开ifcfg-ens33文件

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

添加以下内容

IPADDR=192.168.112.100
GATEWAY=192.168.112.2
DNS1=192.168.112.2

4）添加hostname

[root@hadoop100 ~]# vim /etc/hostname

输入以下内容

hadoop100

5）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加以下内容

192.168.112.100 hadoop100
192.168.112.101 hadoop101
192.168.112.102 hadoop102
192.168.112.103 hadoop103
192.168.112.104 hadoop104
192.168.112.105 hadoop105
192.168.112.106 hadoop106
192.168.112.107 hadoop107
192.168.112.108 hadoop108

6）修改windows的主机映射文件（hosts文件）

添加以下内容

192.168.112.100 hadoop100
192.168.112.101 hadoop101
192.168.112.102 hadoop102
192.168.112.103 hadoop103
192.168.112.104 hadoop104
192.168.112.105 hadoop105
192.168.112.106 hadoop106
192.168.112.107 hadoop107
192.168.112.108 hadoop108

7）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

8）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

2、关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

3、创建ramelon用户，并修改ramelon用户的密码

[root@hadoop100 ~]# useradd ramelon
[root@hadoop100 ~]# passwd ramelon

4、配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

注意：ramelon这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了ramelon具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以ramelon要放到%wheel这行下面。

5、在/opt目录下创建文件夹，并修改所属主和所属组

1、在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

2、修改module、software文件夹的所有者和所属组均为atguigu用户

[root@hadoop100 ~]# chown ramelon:ramelon /opt/module 
[root@hadoop100 ~]# chown ramelon:ramelon /opt/software

3、查看module、software文件夹的所有者和所属组

6、卸载虚拟机自带的JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步。

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

?

• rpm -qa：查询所安装的所有rpm软件包
• grep -i：忽略大小写
• xargs -n1：表示每次只传递一个参数
• rpm -e –nodeps：强制卸载软件

7、重启虚拟机

[root@hadoop100 ~]# reboot

8、克隆虚拟机

利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104

注意：克隆时，要先关闭hadoop100

9、安装JDK

注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。

1）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

2）进入到software目录下

[ramelon@hadoop102 ~]$ cd /opt/software/

3）解压JDK到/opt/module目录下

[ramelon@hadoop102 software]$ tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module/

4）记得查看是否解压成功

[ramelon@hadoop102 software]$ cd /opt/module/

5）配置JDK环境变量

[ramelon@hadoop102 /]$ sudo vim /etc/profile.d/my_env.sh

添加以下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin

6）source一下/etc/profile文件，让新的环境变量PATH生效

[ramelon@hadoop102 ~]$ source /etc/profile

7）测试是否安装成功

[ramelon@hadoop102 ~]$ java -version

注意：重启（如果java -version可以用就不用重启）

[ramelon@hadoop102 ~]$ sudo reboot

10、安装Hadoop

Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）进入到software目录下

[ramelon@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[ramelon@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）记得查看是否解压成功

[ramelon@hadoop102 software]$ cd /opt/module/

5）将Hadoop添加到环境变量

[ramelon@hadoop102 /]$ sudo vim /etc/profile.d/my_env.sh

添加以下内容在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

6）source一下/etc/profile文件，让新的环境变量PATH生效

[ramelon@hadoop102 ~]$ source /etc/profile

7）测试是否安装成功

[ramelon@hadoop102 ~]$ hadoop -version

重启（如果Hadoop命令不能用再重启虚拟机）

[ramelon@hadoop102 ~]$ sudo reboot