Apache Hadoop 软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。

小知识：

分布式和集群的区别：

分布式指的是一个业务分拆多个子业务，部署在不同的服务器上。

集群指的是将几台服务器集中在一起,实现同一业务。

?2、hadoop的主要模块

hadoop1.x

????????HDFS? 分布式文件系统，海量数据的存储。HDFS由一个NameNode和多个DateNode组成

???????Mapreduce ?处理大数据集的框架，海量数据的处理（处理的是离线数据）。MapReduce由一个JobTracker和多个TaskTracker组成

hadoop2.x

? ? ? ? HDFS

? ? ? ? YARN 资源调度框架。Mapreduce运行在yarn上面，yarn还可以处理其他的。

????????Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop?资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

3、hadoop的搭建

3.1 提前准备

? ? ? ? VMware

? ? ? ? linux centos7.x

? ? ? ? linux系统的安装感兴趣的话可以查看博主的这篇文章：https://blog.csdn.net/qq_41699033/article/details/116985440

3.2 静态ip配置

????????参考此篇文章：https://blog.csdn.net/Ryxiong728/article/details/114882547

其中DNS的配置建议使用多DNS，配一个DNS2=223.5.5.5(此域名解析地址为阿里的)

????????为什么要配置静态ip：

使用静态ip就不用担心每次联网你自己局域网的ip发生改变，进而影响你搭建Hadoop集群。

3.2 配置jdk

? ? ? ? 参考博主的这篇文章：https://blog.csdn.net/qq_41699033/article/details/116985440

3.3 配置hadoop

上传压缩包
解压
配置环境变量

?[root@qh001 hadoop-2.7.3]# vi /etc/profile

?????4.刷新环境变量

?[root@qh001 hadoop-2.7.3]# source /etc/profile

4、hadoop单节点搭建

4.1 准备jdk? hadoop环境

4.2 域名映射

这里做域名的映射的目的是为了之后的配置方便，并且修改ip后只用修改hosts文件即可。

[root@qh001?hadoop-2.7.3]# vi /etc/hosts

?4.3 修改配置文件

配置文件的存放位置$HADOOP_HOME/etc/hadoop

hadoop-env.sh

?core-site.xml

<configuration>
<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://qh001:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/qh/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>

mapred-site.xml(需要改名字，原来是.template)?

[root@qh001 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@1h001 hadoop]# vi mapred-site.xml 

<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>qh001</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

</configuration>