IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> HDFS_01_Hadoop简介 -> 正文阅读

[大数据]HDFS_01_Hadoop简介

HDFS_01_Hadoop简介

持续更新大数据文章 …

本篇文章学的是 Hadoop 生态圈里面的 HDFS,HDFS 是解决大数据海量数据存储的技术。

1. Hadoop

1.1 为什么要学习Hadoop?

大数据是时代发展和技术进步的产物,Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop !广义上来说,hadoop 指代大数据的一个生态圈,包括很多其他的软件。

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构,是用 Java 语言开发的一个开源分布式计算平台,适合大数据的分布式存储和计算平台。

Hadoop 平台提供了分布式存储(HDFS)分布式计算(MapReduce)任务调度(YARN)对象存储(Ozone)组件支撑服务(Common)等技术

随着 Hadoop 的不断发展,基于 Hadoop 的大数据生态越发完善,目前包括 Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper 等组件陆续被开发出来,这些组件极大的丰富了 Hadoop 自身的应用。

学习大数据肯定需要学习Hadoop技术,Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

Hadoop 学习之后,还得学习 Spark,它是一种与 Hadoop 相似的开源集群计算环境,拥有 Hadoop MapReduce 所具有的优点,Spark 是 MapReduce 的替代方案,而且兼容 HDFS、Hive,可融入Hadoop 的生态系统,以弥补 MapReduce 的不足。这是大数据技术学习的两大重点。

1.2 Hadoop历史

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

在2003~2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。这两篇论文是GFS(Google File System)、MapReduce数据计算的方法。

Doug cutting 花费了自己的两年业余时间,将论文实现了出来,2008年1月,HADOOP成为Apache顶级项目。

在这里插入图片描述

1.3 Hadoop官网

? 网址:http://hadoop.apache.org/

在这里插入图片描述

1.4 Hadoop Model

在这里插入图片描述

  • Hadoop Common:基础型功能
  • Hadoop Distributed File System:负责存放数据
  • Hadoop YARN:负责资源的调配
  • Hadoop MapReduce:大数据的计算框架
  • Hadoop Ozone:数据存放到仓库
  • Hadoop Submarine:机器学习引擎


下期讲解 HDFS_02_文件系统(DFS)......

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-11-25 08:11:03  更:2021-11-25 08:11:05 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 8:46:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码