大家好，我是脚丫先生 (o^^o)
在大数据和后端开发的路上不知不觉已经走了两年了，想持续认真输出博客，虽然没有其他博主那么深厚的功力，但是也想把自己之前学习的大数据知识，通过博客的方式进行叙述，同时也是一种对大数据基础知识的复习，正所谓万丈高楼平地起，在今后，不管转项目经理或者架构师，都需要扎实的相关技术，才能收服少年们。
好了，我们开始今天的正文。
文章目录
零、三大重要海量数据面试题：
- 1、如何从一个海量文件中寻找出现次数最多的10个元素？（TopN）
- 2、如何从两个大数据集中找出共同元素？（求交集）
- 3、如何设计一个高效算法判断一个元素是否存在于一个庞大集合内？（布隆过滤器）
思路：
- 1、求 TopN
数据量小： 先排序，然后limit 3
数据量大： 先分区/分桶（把数据先分成多个小的组成部分），每个小的部分都单独计算出来 N 个最大的，最终把每个小部分计算出来的 N 个最大的，做最终的汇总。 - 2、求交集
假如 文件 a 和 文件b 都特别大：
现在求出共同的元素：
(1)、采用的思路依然是分治法
(2)、关键在于怎么分治（随机，范围，Hash散列，…）
做Hash散列（行业通用的默认做法）
a文件拆分成 10个文件：
b文件拆分成10个文件：
a1 和 b1 找共同元素就可以
a2 和 b2 找共同元素
… - 3、判断元素是否存在
数据量小： java中的hashset、redis的set
数据量大：布隆过滤器（更强大的位图算法）实现快速判断一个元素是否存在。
优点：快速判断（爬虫: url判重）
缺点：误判
一、Hadoop的快速入门
1.1、数据
数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。在计算机系统中，数据以二进制信息单元0,1的形式表示。
1.2、大数据
大数据指的是传统数据处理应用软件，不足以处理（存储和计算）它们，大而复杂的数据集。
数据量最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
1.3、大数据的特点
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库，软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低。
四大特征：大量，种类多，高速，低价值密度。
(1)、大量：数据的大小决定所考虑的数据的价值和潜在的信息。
(2)、种类：数据类型的多样性，包括文本，图片，视频，音频。
结构化数据：可以用二维数据库表来抽象，抽取数据规律。以数据库数据和文本数据为结构化数据。
半结构化数据：介于结构化和非结构化之间，主要指XML，HTML等，也可称非结构化
非结构化数据：不可用二维表抽象，比如图片，图像，音频，视频等 。
(3)、 高速：指获得数据的速度以及处理数据的速度，数据的产生呈指数式爆炸式增长，处理数据要求的延时越来越低。
1.4、大数据核心技术
大数据技术的体系庞大且复杂。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
二、Hadoop产生的背景
Hadoop 最早起源于 Nutch。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题：如何解决数十亿网页的存储和索引问题。
之后谷歌陆续发表的多篇论文为该问题提供了可行的解决方案：
- 1、分布式文件系统GFS：可用于处理海量网页的存储
- 2、分布式计算框架MapReduce：可用于处理海量网页的索引计算问题
- 3、分布式数据库BigTable：每一张表可以存储上 billions 行和 millions 列。
Nutch 的开发人员完成了相应的开源实现 HDFS 和 MapReduce，并且从 Nutch 中剥离成为独立项目 Hadoop，到2008年1月，Hadoop 成为 Apache 顶级项目，迎来了它的快速发展期。
2.1、什么是Hadoop
1、Hadoop 是 Apache 旗下的一套高可靠，高可扩展，分布式计算的开源软件平台
2、Hadoop 提供的功能：主要解决数据的存储和海量数据的分析计算功能
3、Hadoop 的核心组件有
? A．Common (基础功能组件）（工具包，RPC框架）JNDI和 RPC
? B．HDFS (Hadoop Distributed File System分布式文件系统）
? C．YARN (Yet Another Resources Negotiator运算资源调度系统）
? D．MapReduce （Map和Reduce分布式运算编程框架）
总之，广义上来说，Hadoop 通常是指一个更广泛的概念–Hadoop生态圈。
2.2、Hadoop三大发行版本
Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。
-
1.Apache Hadoop
优点：
? 完全开源免费
? 社区活跃
? 文档、资料详实
缺点：
(1) 版本管理比较混乱，各种版本层出不穷，很难选择，选择其他生态组件时，比如Hive，Sqoop，Flume，Spark等，需要考虑 兼容性问题、版本匹配问题、组件冲突问题、编译问题等。
(2) 集群安装部署复杂，需要编写大量配置文件，分发到每台节点，容易出错，效率低。
(3) 集群运维复杂，需要安装第三方软件辅助。 -
2.Cloudera Hadoop(CDH)
优点
(1) 版本管理清晰。
(2) 版本更新快。通常情况，比如CDH每个季度会有一个update，每一年会有一个release。
(3) 集群安装部署简单。提供了部署、安装、配置工具，大大提高了集群部署的效率
(4) 运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。
缺点：
收费了 -
3 Hortonworks Hadoop（HDP）
开源，可以进行二次开发，但是没有CDH稳定，国内使用较少。
2.3、hadoop生态圈
Hadoop技术生态圈的一个大致组件分布图：
重点组件
(1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
(2) Flume：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
(3) Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，可以接收生产者（如webservice、文件、hdfs、hbase等）的数据，本身可以缓存起来，然后可以发送给消费者（同上），起到缓冲和适配的作。
(4) Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
(5) Oozie：Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统。
(6) Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
(7) Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
(8) ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
(9) Flink: Flink是一个基于内存的分布式并行处理框架，类似于Spark，但在部分设计思想有较大出入。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。
