[大数据]榕树贷款用分布式文件系统HDFS实现分布式数据存储

榕树贷款MapReduce进行计算任务时，会将任务初始化为一个工作（Job），每个Job又被分解成若干任务（task），整个计算过程可以分为Map和Reduce两个阶段，这两个阶段分别用Map函数和Reduce函数表示。

榕树贷款Map函数在接收一个键/值对<key,value>的输入，然后同样产生一个新的键/值对<key,value>作为中间输出。MapReduce会将所有具有相同key值的value汇总到一起传递给Reduce函数。

榕树贷款Reduce函数接收一个<key,（list of values）>形式的输入，然后对这个value集合进行处理，每个Reduce产生0或1个输出，Reduce的输出也是<key,value>形式的。

榕树贷款大规模数据集的处理包括两个核心环节，Hadoop用分布式文件系统HDFS实现分布式数据存储，用MapReduce实现分布式计算。MapReduce的核心思想可以用“分而治之”来描述，一个大的MapReduce作业首先会被分成多个Map任务在多台机器上并行执行，每个Map任务通常运行在数据存储的节点上，计算和数据就可以放在一起运行。

榕树贷款当Map任务结束后，会生成以<key,value>形式表示的许多中间结果，这些中间结果会被分发到多个Reduce任务在多台机器上并行执行，具有相同key的<key,value>会被发送到同一个Reduce哪里，Reduce任务会对中间结果进行汇总计算得到最后结果，并输出到分布式文件系统中。
?