[大数据]MapReduce学习

一.初识MapReduce

? ? ? ? MapReduce是分布式计算框架,他和HDFS一样也是hadoop的重要组成部分

? ? ? ? 它的产生背景是在web2.0时代,在数据量的指数级增长下,单机扩内存的方式已经不能满足计算需求,所以诞生了MapReduce

二.特点

? ? ? ? 分布可靠,对数据集的操作分发给多个节点实现可靠性,每个节点周期性返回完成的任务和最新状态

? ? ? ? 封装了实现的细节,基于api编程

? ? ? ? 提供跨语言的编程能力

三.运行流程

? ? ? ? 1.主要任务

? ? ? ? ? ? ? ? 3.1.1数据划分和计算任务调度

? ? ? ? ? ? ? ? ? ? ? ? 将数据划分为多个数据块,每个数据块对应一个任务,自动调度节点来处理数据块

? ? ? ? ? ? ? ? 3.1.2数据/代码相互定位(一般是代码找数据)

? ? ? ? ? ? ? ? ? ? ? ? 本地化数据处理,当无法进行本地化数据处理时,才会将数据发送有代码的服务器? ? ? ? ? ? ? ? ? ? ? ? ? ? 上进行处理

????????????????3.1.3系统优化

? ? ? ? ? ? ? ? ? ? ? ? 为了减少通信开销,中间数据进入reduce节点前会进行一定的合并处理,一个? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?reduce节点所处理的数据可能来自多个map节点

? ? ? ? 2.运行流程

? ? ? ? ? ? ? ? 提交代码,对数据进行切片

? ? ? ? ? ? ? ? master调度worker执行map任务

? ? ? ? ? ? ? ? workker读取切片

? ? ? ? ? ? ? ? worker执行任务,将输出结果保存到本地

? ? ? ? ? ? ? ? master调度worker执行reduce任务,reduce worker读取输出文件

? ? ? ? ? ? ? ? 执行reduce任务,将任务输出到HDFS上

? ? ? ? 3.MapReduce? api开发流程

? ? ? ? ? ? ? ? 搭建环境

? ? ? ? ? ? ? ? 基于MapReduce框架编写代码,由Map,Reduce,Driver三部分组成

? ? ? ? ? ? ? ? 编译打包

? ? ? ? ? ? ? ? 上传至本地

? ? ? ? ? ? ? ? yarn? jar命令执行