[大数据]hadoop的核心之MapReduce

大家好，我是曜耀。

今天，说一下MapReduce

MapReduce是一种分布式计算模型，是Google提出来的，主要用于搜索领域，解决海量数据的计算问 题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce， Map阶段是一个独立的程序，在很多个节点同时运行，每个节点处理一部分数据。 Reduce阶段也是一个独立的程序，可以在一个或者多个节点同时运行，每个节点处理一部分数据。 在这map就是对数据进行局部汇总，reduce就是对局部数据进行最终汇总。

总的来说就是提取一些文件里有效的数据。

MapReduce有俩个阶段一个是Map，一个是reduce阶段。

MapReduce首先会进行Map阶段，MapReduce会把要进行数据清洗的文件划分为多个InputSplit，一般情况下，每个HDFS的Block对应一个InputSplit，通过Record把InputSplit解析成一个<key,value>,这样模式的数组Map类型。一般情况下，每一行数据，会被解析key?这里的key是指每一行的起始偏移量，value就是这一行的内容。

其次把拿到的数据进行分区，框架对map函数输出的进行分区。不同分区中的由不同的reduce task处理，默 认只有1个分区，所以所有的数据都在一个分区，最后只会产生一个reduce task。 经过这个步骤之后，数据没什么变化，如果有多个分区的话，需要把这些数据根据分区规则分开，在这里 默认只有1个分区。

最后就是对数据进行些简单的排序存进我们要存进的文件。

有一个需要记住的就是，MapReduce关键的是Map，Reduce可以忽略，不过对于我们来说，Map是核心，Reduce就是锦上添花的意思。可以添加一些人性化。

我是曜耀，下次见。