[大数据]Shuffle 混洗

Shuffle是MapReduce框架中的一个特定的phase（分阶段），介于Map phase和Reduce phase之间，当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。

Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤。