开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Hadoop史诗级入门详解 -> 正文阅读

[大数据]Hadoop史诗级入门详解

1.Hadoop概述

1.1 什么是Hadoop？

Hadoop是由apache基金会所开发的分布式系统基础架构，Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

从自身含以上来说Hadoop更像一个生态圈，咱们简称为Hadoop生态圈
在这里插入图片描述

1.2 Hadoop发展历史

Hadoop创始人Doug Cutting，为了实现跟Google相似的全文搜索功能，他在Lucene框架的基础上进行了优化升级，查询引擎和索引引擎，而Hadoop的图标灵感来源于他儿子的小象玩偶。

在这里插入图片描述

2001年年底Lucene成为Apache基金会的一个子项目。
对于海量数据的场景，Lucene框架面对与Google同样的难题，比如存储海量数据困难，检索海量速度慢。（有时候博主感觉有了那些先驱者们世界的互联网才能发展那么快，以此致敬那些计算机先驱者们）。
学习和模仿Google解决这些问题的方法：微型版Nutch
在某种意义上来说，Google是Hadoop的思想之源
（可以在tor上查找Google在大数据方面的三篇论文）
GFS–>HDFS
Map-Reduce–>MR
BigTable–>HBase
在2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了HDFS和MapReduce机制，使Nutch性能规升。
2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
2006年三月份，Map-Reduce和Nutch Distributed Fie Svstem(NDFS)分别被纳入到Hadoop项目，中，Hadoop就此正式诞生，标志着大数据时代来临。
下面配上一张历史性的大象，感觉这个大象比我i岁数大多了

1.3 Hadoop的三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
Apache版本最原始（最基础）的版本，对于入门学习最好。2006
Cloudera内部集成了很多大数据框架，对应产品CDH。2008
Hortonworks文档较好，对应产品HDP。2011
Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。
在这里插入图片描述

1）Apache Hadoop

官网地址：
http://hadoop.apache.org
下载地址：
https://hadoop.apache.org/releases.html

2）Cloudera Hadoop

官网地址：
https://www.cloudera.com/downloads/cdh
下载地址：
https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html
（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。
（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support
（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

3）Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform
（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。
（3）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
（4）2018年Hortonworks目前已经被Cloudera公司收购。

1.4 Hadoop具有什么优势呢？

1.高可靠性：Hadoop底层维护了多个数据副本，所以即使Hadoop集群某个节点计算元素或者存储出现了故障也不会导致数据丢失。
在这里插入图片描述

2.高扩展性：在Hadoop集群间分配任务数据，可方便的扩展以千为单位的节点。
在这里插入图片描述

3.高效性：在MapReduce的思想下，Hadoop的中是并行工作的，用来加快任务的处理速度。
在这里插入图片描述

4.高容错性：能够自动将失败的任务重新分配。
在这里插入图片描述

1.5 Hadoop的组成（面试重点！！！）

在这里插入图片描述

在Hadoop1.x时代， Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
在Hadoop2x时代，增加了Yarn。Yarn只负责资源的调度， MapReduce只负责运算。
Hadoop3.x在组成上没有变化。

1.5.1 HDFS详解

Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。

HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。

（1）HDFS的特点

在这里插入图片描述

它适用于在分布式存储和处理。

Hadoop提供的命令接口与HDFS进行交互。

名称节点和数据节点的帮助用户内置的服务器能够轻松地检查集群的状态。

流式访问文件系统数据。

HDFS提供了文件的权限和验证。

（2）HDFS架构

HDFS遵循主从架构，它具有以下元素。

1）名称节点 - Namenode

名称节点是包含GNU/Linux操作系统和软件名称节点的普通硬件。它是一个可以在商品硬件上运行的软件。具有名称节点系统作为主服务器，它执行以下任务：

管理文件系统命名空间。规范客户端对文件的访问。

它也执行文件系统操作，如重命名，关闭和打开的文件和目录。

2）数据节点 - Datanode

Datanode具有GNU/Linux操作系统和软件Datanode的普通硬件。对于集群中的每个节点(普通硬件/系统)，有一个数据节点。这些节点管理数据存储在它们的系统。

数据节点上的文件系统执行的读写操作，根据客户的请求。

还根据名称节点的指令执行操作，如块的创建，删除和复制。

3）块

一般用户数据存储在HDFS文件。在一个文件系统中的文件将被划分为一个或多个段和/或存储在个人数据的节点。这些文件段被称为块。换句话说，数据的HDFS可以读取或写入的最小量被称为一个块。缺省的块大小为64MB，但它可以增加按需要在HDFS配置来改变。

（3）HDFS的目标

故障检测和恢复：由于HDFS包括大量的普通硬件，部件故障频繁。因此HDFS应该具有快速和自动故障检测和恢复机制。

巨大的数据集：HDFS有数百个集群节点来管理其庞大的数据集的应用程序。
数据硬件：请求的任务，当计算发生不久的数据可以高效地完成。涉及巨大的数据集特别是它减少了网络通信量，并增加了吞吐量。

在这里配上尚硅谷的一个经典老图
在这里插入图片描述

1.5.2 初识MapReduce

MapReduce是一种处理技术和程序模型基于Java的分布式计算。 MapReduce算法包含了两项重要任务，即Map 和 Reduce。Map采用了一组数据，并将其转换成另一组数据，其中，各个元件被分解成元组(键/值对)。其次，减少任务，这需要从Map 作为输入并组合那些数据元组成的一组小的元组输出。作为MapReduce暗示的名称的序列在Map作业之后执行reduce任务。

MapReduce主要优点是，它很容易大规模数据处理在多个计算节点。下面MapReduce模型中，数据处理的原语被称为映射器和减速器。分解数据处理应用到映射器和减速器有时是普通的。但是编写MapReduce形式的应用，扩展应用程序运行在几百，几千，甚至几万机集群中的仅仅是一个配置的更改。这个简单的可扩展性是吸引了众多程序员使用MapReduce模型。

MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总
在这里插入图片描述

1.5.3 初识Yarn

Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。
在这里插入图片描述

1.6 HDFS MapReduce Yarn三者的关系

在这里插入图片描述

2.大数据生态体系介绍

在这里插入图片描述
1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；
3）Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统；
4）Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
5）Flink：Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
6）Oozie：Oozie是一个管理Hadoop作业（job）的工作流程调度管理系统。
7）Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
8）Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。