| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Hadoop1_hadoop概览 -> 正文阅读 |
|
[大数据]Hadoop1_hadoop概览 |
1 大数据技术简介1.1 大数据
1.2 Hadoop(两件事:海量数据存储和计算)
1.3 Hadoop和Hive、Spark的区别1.4 Hadoop的4部分组成
1.4.1 HDFS架构3部分(目录-数据-备份)1.4.2 YARN1.4.3MapReduce1.5 集群和节点一个节点就是1台服务器 多个服务器组合在一起称为集群,一般指应用服务器;存储型的服务器集群指得是:数据一个服务器放不下,分别放到不同机器中,这些机器称为集群。 节点通过设置集群名称,在同一网络中发现具有相同集群名称的节点,组成集群。如果在同一网络中只有一个节点,则这个节点成为一个单节点集群,即此节点集群中每个节点都是功能齐全的服务。 2 HDFS(和操作mysql是一个道理)在linux上面操作hdfs集群和mysql是一个道理,操作mysql是打开了mysql软件,让mysql软件执行一些命令,操作hdfs也是打开了hdfs软件,让hdfs软件执行一些命令。具体的文件还是存在你电脑上,只不过你看不懂,但是mysql和hdfs是可以看懂它存的文件的
2.1 特点2.2 组成
2.3 写数据2.4 读数据2.5 DataNode工作机制
3 MapReduce
3.1 MapReduce执行原理3.2 执行的时候一般分为3个类(8股文)1 主要功能类 3.3 类型3.4 MAP阶段3.5 Reduce阶段3.6 WordCount小案例
在eclipse中实现3步: 3.7 序列化
3.8 自定义输出小案例(理解MapTask工作机制)4 YARNYarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 参考资料1 看这个视频就够了,必须都学了,尚硅谷_Hadoop_概论 2 Hadoop Shell命令 3 Hadoop常用命令 - 走看看 4 hdfs shell的基本操作以及hdfsWeb查看文件 - 知乎 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 10:35:37- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |