1.Linux安装配置
1.1创建虚拟机
网络选择【桥接模式】
可选用最小化安装
1.2虚拟机网络配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
操作如下几行即可：
-
BOOTPROTO=dhcp改为BOOTPROTO=static
-
ONBOOT=no改为ONBOOT=yes
-
添加4行
-
IPADDR=192.168.1.200与物理机在同一网段
-
NETMASK=255.255.255.0与物理机子网掩码相同
-
GATEWAY=192.168.1.1与物理机网关相同
-
DNS1=202.193.80.72可与物理机相同
配置完则重启网卡：
service network restart
1.3检查网络配置是否正确
ping baidu.com //ping外网
ping 192.168.1.103 //ping物理机
虚拟机无法ping通物理机，可能是物理机开启了防火墙，在控制面板-Windows Defender中关闭防火墙即可。
1.4关闭防火墙
systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld
1.5关闭SELinux
setenforce 0
vi /etc/selinux/config
编辑/etc/selinux/config文件，将SELINUX=enforcing改成SELINUX=disabled
重启Linux
reboot
1.6主机名和ip映射
编辑hosts文件
vi /etc/hosts
追加内容：(虚拟机ip 虚拟机主机名)
例如：
192.168.1.200 hadoop
2.配置安装Java环境
2.1检查是否安装了Java
rpm -qa | grep java
rpm -qa | grep jdk
rpm -qs | grep gcj
如果自带了openjdk则需要卸载
rpm -e XXX
卸载完再检查一下
2.2安装Java
建议将软件安装在统一的目录
mkdir -p /data/soft/java
上传压缩包到此目录并解压
cd /data/soft/java && tar -xzvf jdk-8u311-linux-x64.tar.gz
rm -f jdk-8u311-linux-x64.tar.gz
重命名
mv /data/soft/java/jdk1.8.0_311 /data/soft/java/jdk1.8
2.3配置Java环境变量
vi /etc/profile
追加两行：
export JAVA_HOME=/data/soft/java/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
使环境变量生效
source /etc/profile
检查是否配置成功
java -version
3.配置SSH免密登陆
3.1创建公钥/私钥对
ssh-keygen -t rsa
连续按三次回车即可
3.2合并公钥到authorized_keys文件
cd ~/.ssh && cat id_rsa.pub >> authorized_keys
检查免密配置是否成功
ssh 192.168.1.200
4.配置安装Hadoop3.3.2
4.1下载解压hadoop
建议创建一个单独的目录
mkdir /data/soft/hadoop
上次压缩包到此目录，并解压改名
cd /data/soft/hadoop && tar -xzvf hadoop-3.3.2.tar.gz && rm -f hadoop-3.3.2.tar.gz
4.2修改配置文件
在hadoop-3.3.2目录下创建数据存放目录
mkdir tmp && mkdir -p hdfd/{data,name}
4.2.1修改hadoop-env.sh
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/hadoop-env.sh
追加如下内容：
export JAVA_HOME=/data/soft/java/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
4.2.2修改core-site.xml
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/core-site.xml
修改如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>ue>
<description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/soft/hadoop/hadoop-3.3.2/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4.2.3修改hdfs-site.xml
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/hdfs-site.xml
修改如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
4.2.4修改mapred-site.xml
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/mapred-site.xml
修改如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.2.5修改yarn-site.xml
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/yarn-site.xml
修改如下：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4.2.6修改workers
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/workers
修改成自己的主机名
我的是hadoop
4.2.7修改yarn-env.sh
vi /data/soft/hadoop/hadoop-3.3.2/etc/hadoop/yarn-env.sh
追加如下内容：
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
4.3格式化namenode
/data/soft/hadoop/hadoop-3.3.2/bin/hdfs namenode -format
5.启动
/data/soft/hadoop/hadoop-3.3.2/sbin/start-dfs.sh
/data/soft/hadoop/hadoop-3.3.2/sbin/start-yarn.sh
如需停止输入命令
/data/soft/hadoop/hadoop-3.3.2/sbin/stop-all.sh
6.验证
浏览器打开
http://192.168.1.200:9870/
http://192.168.1.200:8088/
