背景
Hadoop 起源于全文检索，随着数据量的增大，存储和查询出现了一些瓶颈。
在这方面，谷歌因为其搜索引擎数据量是巨大的，因此大量数据的存储查询瓶颈也是最为突出的，这也就催生了谷歌的三篇论文。
- GFS（google file system）
- MapReduce
- BigTable
但是，谷歌只公布了方案，并没有公布源码。DougCutting此时正在开发Nutch项目过程中，其试图不断扩大分布式搜索系统的规模。不过，当这一规模达到数十亿网页的级别时，进展变得相当缓慢。谷歌这三篇论文恰好能解决这一瓶颈。
因此，他开始在Nutch系统中实施Google那样的分布式文件系统和MapReduce引擎……新系统被称为“Hadoop”，这是以Cutting儿子的毛绒大象命名的。
下面是Hadoop生态几大技术与谷歌论文的关系。
- GFS（google file system）-> HDFS
- MapReduce -> MapReduce
- BigTable -> HBASE
2008年1月，Hadoop成为Apache的顶级项目。
Hadoop是什么
Hadoop 是Apache旗下的一套开源软件平台，核心组建有如下几个
- Common（基础组建）
- HDFS（Hadoop Distribute File System 分布式文件系统）
- Yarn（Yet Another Resource Negotiator 运算资源调度系统）
- MapReduce（Map和Reduce分布式运算编程框架）
广义上，Hadoop经过长期的发展，又加入了很多新的成员。
👉 Hadoop官网
Hadoop发行版本
Hadoop三大发行版本：Apache、Cloudera、Hortonworks
- Apache版本最原始（最基础）的版本，对于入门学习最好
- Cloudera在大型互联网企业中用的较多
- Hortonworks文档较好
至于学习的话，肯定是Apache开源版本是最好的。
|