[大数据]Hadoop集群搭建

因为要参加比赛所以本人写了一篇博客记录一下hadoop集群的搭建，第一次搭建完全分布式，所以基本上都是完成了之后再去写这篇博客，部分内容不可以以图片形式展现了，实在抱歉。

三台机器分别为ahdsj2020amaster，ahdsj2020aslave1，shdsj2020aslave2

1、下载Hadoop以及Jdk

hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/

jdk下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

需要Oracle账号密码，这里我从网上找到一个账号密码

Oracle帐号：2696671285@qq.com
Oracle密码：Oracle123

2.修改用户名以及对应的IP

vi /etc/hostname

改为你所对应的主机名

?vi /etc/hosts

?

修改你所规划的机器，做ip映射

紧接着配置网络

vi /etc/sysconfig/network-scripts/ifcfg-ens33

注意ip一定要改成静态ip

?

上述配置完成后重启网络

service?network?restart

3.机器安装JAVA环境，Hadoop环境

在此之前我们需要删除系统内自带的jdk

?rpm -qa | grep java

查看系统自带的jdk

对部分jdk进行删除

rpm -e --nodeps 加上我们需要删除的jdk

依次删除

?

将我们刚刚下载好的jdk 和hadoop进行解压

一般默认下载到Downloads里面

?

（1）首先我们先解压jdk到指定的目录

将文件拷贝到/usr/lib/jvm 解压缩

cd /home/master/Downloads

tar -zxvf??jdk-8u301-linux-x64.tar -C /usr/lib/jvm

这样我们就压缩到指定目录了

（2）修改/etc/profile这个文件

我们在最后添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301

export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

（3）验证

为了验证是否压缩成功

java -version进行验证出现下面结果即为成功

?

?

（4）hadoop解压

? ? ? （1）在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.7.1.tar.gz解压到该目录

mkdir /opt/hadoop

cd /home/master/Downloads

tar -zxvf?hadoop-2.7.1.tar.gz -C /opt/hadoop

? ? ? (2)新建几个目录
在/root目录下新建几个目录，复制粘贴执行下面的命令：

mkdir ?/root/hadoop
mkdir ?/root/hadoop/tmp
mkdir ?/root/hadoop/var
mkdir ?/root/hadoop/dfs
mkdir ?/root/hadoop/dfs/name
mkdir ?/root/hadoop/dfs/data

? ? ?(3)修改etc/hadoop中的一系列配置文件(重点）

都是在目录下进行：/opt/hadoop/hadoop-2.7.1/etc/hadoop/

? ?（1）修改core-site.xml
在<configuration>节点内加入配置:

<property>

? ? ? ? <name>hadoop.tmp.dir</name>

? ? ? ? <value>/root/hadoop/tmp</value>

? ? ? ? <description>Abase for other temporary directories.</description>

? ?</property>

? ?<property>

? ? ? ? <name>fs.default.name</name>

? ? ? ? <value>hdfs://ahdsj2020amaster:9000</value>

? ?</property>
上述加粗内容要改成自己主机名

? （2）修改hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301

（3）修改hdfs-site.xml
在<configuration>节点内加入配置:

<property>

? ?<name>dfs.name.dir</name>

? ?<value>/root/hadoop/dfs/name</value>

? ?<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

? ?<name>dfs.data.dir</name>

? ?<value>/root/hadoop/dfs/data</value>

? ?<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

? ?<name>dfs.replication</name>

? ?<value>2</value>

</property>

<property>

? ? ? <name>dfs.permissions</name>

? ? ? <value>false</value>

? ? ? <description>need not permissions</description>

</property>

（4）

新建并且修改mapred-site.xml
在该版本中，有一个名为mapred-site.xml的文件，复制该文件，后改名mapred-site.xml.template，命令是：
cp ./mapred-site.xml.template ./mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

?<property>

? ?<name>mapred.job.tracker</name>

? ?<value>ahdsj2020amaster:49001</value>

</property>

<property>

? ? ? <name>mapred.local.dir</name>

? ? ? ?<value>/root/hadoop/var</value>

</property>

<property>

? ? ? ?<name>mapreduce.framework.name</name>

? ? ? ?<value>yarn</value>

</property>

(5)

修改yarn-site.xml文件
在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为虚拟机安装测试):

<property>

? ? ? ? <name>yarn.resourcemanager.hostname</name>

? ? ? ? <value>ahdsj2020amaster</value>

? ?</property>

? ?<property>

? ? ? ? <description>The address of the applications manager interface in the RM.</description>

? ? ? ? <name>yarn.resourcemanager.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8032</value>

? ?</property>

? ?<property>

? ? ? ? <description>The address of the scheduler interface.</description>

? ? ? ? <name>yarn.resourcemanager.scheduler.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8030</value>

? ?</property>

? ?<property>

? ? ? ? <description>The http address of the RM web application.</description>

? ? ? ? <name>yarn.resourcemanager.webapp.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8088</value>

? ?</property>

? ?<property>

? ? ? ? <description>The https adddress of the RM web application.</description>

? ? ? ? <name>yarn.resourcemanager.webapp.https.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8090</value>

? ?</property>

? ?<property>

? ? ? ? <name>yarn.resourcemanager.resource-tracker.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8031</value>

? ?</property>

? ?<property>

? ? ? ? <description>The address of the RM admin interface.</description>

? ? ? ? <name>yarn.resourcemanager.admin.address</name>

? ? ? ? <value>${yarn.resourcemanager.hostname}:8033</value>

? ?</property>

? ?<property>

? ? ? ? <name>yarn.nodemanager.aux-services</name>

? ? ? ? <value>mapreduce_shuffle</value>

? ?</property>

? ?<property>

? ? ? ? <name>yarn.scheduler.maximum-allocation-mb</name>

? ? ? ? <value>2048</value>

? ? ? ? <discription>每个节点可用内存,单位MB,默认8182MB</discription>

? ?</property>

? ?<property>

? ? ? ? <name>yarn.nodemanager.vmem-pmem-ratio</name>

? ? ? ? <value>2.1</value>

? ?</property>

? ?<property>

? ? ? ? <name>yarn.nodemanager.resource.memory-mb</name>

? ? ? ? <value>2048</value>

</property>

? ?<property>

? ? ? ? <name>yarn.nodemanager.vmem-check-enabled</name>

? ? ? ? <value>false</value>

</property>

4、克隆2台虚拟机

这里自行百度克隆方法

注意：一定要注意克隆完成后要进行如下操作，本人就是卡了1天这个问题导致生成的克隆机器ip地址一直和原来机器一样

?

点击生成然后确定

接下里打开虚拟机

按照第2部分内容进行配置网络主机名称等等?

接下来进行免密登录设置

一开始每台机器都要关闭防火墙

关闭防火墙

systemctl stop firewalld.service 

设置开机禁止启动

systemctl disable firewalld.service

???????

1. 生成公钥

ssh-keygen -t rsa

1. 分发公钥

?

ssh-copy-id ahdsj2020amaster
ssh-copy-id ahdsj2020amaster
ssh-copy-id ahdsj2020amaster

在三个节点上重复以上命令

?

?我这里只展示部分图片

为了验证是否成功我们ping一下

?

6.启动集群

因为ahdsj2020amaster是namenode，ahdsj2020aslave1和ahdsj2020aslave2都是datanode，所以只需要对ahdsj2020asmaster进行初始化操作，也就是对hdfs进行格式化。

（1）进入到hserver1这台机器的/opt/hadoop/hadoop-2.7.1/bin目录，也就是执行命令：
?cd ? /opt/hadoop/hadoop-2.7.1/bin

执行初始化脚本，也就是执行命令：

?./hadoop ?namenode ?-format

等几秒没报错就是执行成功，格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件。

2）在namenode上执行启动命令
因为ahdsj2020amaster是namenode，ahdsj2020aslave1和ahdsj2020aslave2都是datanode，所以只需要再ahdsj2020amaster上执行启动命令即可。

进入到ahdsj2020amaster这台机器的/opt/hadoop/hadoop-2.7.1/sbin目录

执行初始化脚本，也就是执行命令：

?./start-all.sh

之后jps查看进程

三台机器进程分别为：

?

?

分别打开两个端口

ip地址：50070

?

ip地址：8088

?

错误总结：1.本人一开始是在配置完成网络后，进行虚拟机克隆，然后免密登录，后来想到每一台机器都需要配置内容，很麻烦，因为第一次尝试完全分布式搭建，所以百度了scp方法，虽然成功了，但是麻烦了许多倍，后来就先配置完成一台机器，再进行克隆，这样免去了很多步骤，只需要配置一下剩下克隆机器的网络等就可以完成了。