认识一下Hadoop
1.单机处理大数据存在问题.具体啥问题?
假设,我现在有个很大很大的一个文本文件,存放了各种的老师名字以及相关作品名及作品简介,那里面的文件行数多得数不清,突然我突发奇想,想找一下这个文件中"结衣"某个作品的某个简介看一下,但是因为数据量太大, 小日子过得不错的岛国人拍得比较多,所以文件量很大很大,让张三去找,他找着找着就崩溃了,太多了,速度简直慢得可怜.
然后我知道了这个岛国的演艺界就那么多人,滴滴叭叭全部加起来放在一个文件夹中假设就1T,张三的查找速度(IO速度)就500M/s,让张三去全部找一遍大约30分钟,于是我便需要把这1T的文件拆开,让张三直接去找对应的演员文件.
2.啥是hadoop?
Hadoop是Apache的一个顶级项目,
Hadoop之父 Doug Cutting
他手里拿着的就是Hadoop,是他儿子玩具的昵称
官网的解释是这样的:
Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
它被设计成从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。
与依赖硬件提供高可用性不同，库本身的设计目的是检测和处理应用层的故障，因此在计算机集群上提供高可用性服务，而每台计算机都可能发生故障。
hadoop的时间简史:
- Hadoop由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。
- 2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
- Cloudera公司在2008年开始提供基于Hadoop的软件和服务。
- 2016年10月hadoop-2.6.5
- 2017年12月hadoop-3.0.0
- hadoop.apache.org
模块:
- Hadoop Common:支持其他Hadoop模块的通用工具。
- Hadoop Distributed File System (HDFS?):分布式文件系统，提供对应用数据的高吞吐量访问。
- Hadoop YARN:一个用于作业调度和集群资源管理的框架。
- Hadoop MapReduce:基于yarn的大数据集并行处理系统,分布式数据处理系统。