HDFS_01_Hadoop简介
持续更新大数据 文章 …
本篇文章学的是 Hadoop 生态圈里面的 HDFS,HDFS 是解决大数据海量数据存储的技术。
1. Hadoop
1.1 为什么要学习Hadoop?
大数据是时代发展和技术进步的产物,Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop !广义上来说,hadoop 指代大数据的一个生态圈,包括很多其他的软件。
大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。
Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构,是用 Java 语言开发的一个开源分布式计算平台,适合大数据的分布式存储和计算平台。
Hadoop 平台提供了分布式存储(HDFS)、分布式计算(MapReduce)、任务调度(YARN)、对象存储(Ozone)、组件支撑服务(Common)等技术。
随着 Hadoop 的不断发展,基于 Hadoop 的大数据生态越发完善,目前包括 Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper 等组件陆续被开发出来,这些组件极大的丰富了 Hadoop 自身的应用。
学习大数据肯定需要学习Hadoop技术,Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。
Hadoop 学习之后,还得学习 Spark,它是一种与 Hadoop 相似的开源集群计算环境,拥有 Hadoop MapReduce 所具有的优点,Spark 是 MapReduce 的替代方案,而且兼容 HDFS、Hive,可融入Hadoop 的生态系统,以弥补 MapReduce 的不足。这是大数据技术学习的两大重点。
1.2 Hadoop历史
Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
在2003~2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。这两篇论文是GFS(Google File System)、MapReduce数据计算的方法。
Doug cutting 花费了自己的两年业余时间,将论文实现了出来,2008年1月,HADOOP成为Apache顶级项目。
1.3 Hadoop官网
? 网址:http://hadoop.apache.org/
1.4 Hadoop Model
Hadoop Common :基础型功能Hadoop Distributed File System :负责存放数据Hadoop YARN :负责资源的调配Hadoop MapReduce :大数据的计算框架Hadoop Ozone :数据存放到仓库Hadoop Submarine :机器学习引擎
下期讲解 HDFS_02_文件系统(DFS)......
|