[系统运维]Hadoop 3.x环境搭建

先安装好vmware并且创建一台虚拟机，

IP和主机名配置

1.点击vmware的“编辑” =>虚拟网络编辑器(N)...

2.点击“VMnet8"后点击”更改设置“

3.而后再次点击VMnet8,修改?子网IP地址为：192.168.10.0（IP可以任意取值只要不为192.168.1.0即可）

4.修改完成后，点击NAT设置，将网关的地址修改与子网IP在同一网段。这里网关IP设置为192.168.10.2 ；随后点击确定=>确定

?5.?配置主机的IP，网络设置内找到“VMnet8",=>点击属性=>双击Internet协议版本4（TCP/IPv4）对默认网关及DNS服务器进行修改。

centos最小化安装需要的配置：

1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
（2）安装epel-release
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

PING www.baidu.com (14.215.177.39) 56(84) bytes of data.

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

（2）安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release

????????????????安装工具包
????????????????????????net-tool：工具包集合，包含ifconfig等命令
????????????????????????[root@hadoop100 ~]# yum install -y net-tools?
????????????????vim：编辑器
????????????????????????[root@hadoop100 ~]# yum install -y vim

2）关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
3）创建atguigu用户，并修改jason用户的密码
[root@hadoop100 ~]# useradd jason
[root@hadoop100 ~]# passwd jason
4）配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ? ?ALL=(ALL) ? ? ALL

## Allows people in group wheel to run all commands
%wheel ?ALL=(ALL) ? ? ? ALL
atguigu ? ALL=(ALL) ? ? NOPASSWD:ALL
注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。
5）在/opt目录下创建文件夹，并修改所属主和所属组
（1）在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
（2）修改module、software文件夹的所有者和所属组均为jason用户?
[root@hadoop100 ~]# chown jason:jason /opt/module?
[root@hadoop100 ~]# chown jason:jason /opt/software
（3）查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 jason jason 4096 5月 ?28 17:18 module
drwxr-xr-x. 2 root ? ?root ? ?4096 9月 ? 7 2017 rh
drwxr-xr-x. 2 jason jason 4096 5月 ?28 17:18 software
6）卸载虚拟机自带的JDK
?? ?注意：如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps?
?rpm -qa：查询所安装的所有rpm软件包
?grep -i：忽略大小写
?xargs -n1：表示每次只传递一个参数
?rpm -e –nodeps：强制卸载软件
7）重启虚拟机
[root@hadoop100?

?vim /etc/sysconfig/network-scripts/ifcfg-ens33?

注意黑体字部分：?

修改主机名和hosts文件

1)修改主机名称
[ root@hadoop100 ~] # vim /etc/hostname
hadoop100
2)配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
| [root@hadoop100 ~]# vim /etc/hosts
添加如下内容：
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
3)重启克隆机hadoop100?
[ root@hadoop100 ~] # reboot

4)修改windows的主机映射文件(hosts 文件)?

(1)如果操作系统是window7, 可以直接修改
(a)进入C:\Windows\System32)drivers\etc路径e
(b)打开hosts文件并添加如下内容，然后保存e
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
(2)如果操作系统是window10,先拷贝出来，修改保存以后，再覆盖即可
(a)进入C:\Windows\System32\drivers\etc路径
(b)拷贝hosts文件到桌面
(c)打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

(d)将桌面hosts文件覆盖C:\Windows\System32\drivers\etc 路径hosts文件

这样便可以使用主机名称代替IP?地址

?选择“创建完整克隆”

?多克隆三台虚拟机

克隆完毕后使用以下命令将hostname修改为对应的主机名 ; IPADDR修改为对应网址?

[ root@hadoop100 ~]# vim /etc/sysconfig/network- scripts/ifcfg- ens33
[ root@hadoop100 ~]# vim /etc/hostname

三台虚拟机都修改完毕后，我们可以查看ifconfig，已经网络是连同ping
?

安装JDK

将jdk安装包上传到/opt/software

然后对jdk进行解压到/opt/module文件夹下：tar -zxvf jdk-8u212-1inux-x64.tar.gz -C /opt/module/

配置jdk环境变量，传统是将路径配置放在/etc/profile下面，在这里我们采用自己创建配置文件的方式：

[jason@hadoop102 jdk1.8.0_212]$ cd /etc/profile.d

[jason@hadoop102?profile.d]$ sudo vim my_env.sh? ? ? ? 添加下面内容：

? ?#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

重新加载：[jason@hadoop102 profile.d]$ source /etc/profile

验证是否成功：[jason@hadoop102 profile.d]$ java