[大数据]spark -- repartition和coalesce区别

我们都知道coalese 和repartition都是对数据再划分但是有时候用的时候还是有区别的

我们从源码把主要部分拿来比较:

coalesce(numPartitions:Int，shuffle:Boolean=false)

而repartition 是去执行coalesce(numPartitions, shuffle = true)

这里我们我们看出来repartition?shuffle = true 而coalesce为false

我们来通过具体例子来分析我们对两个算子的应用场景：

比如现在分区数为A 我们进行计划重新划分为分区数为B

1:当A<B时?利用HashPartitioner函数将数据重新分区为B个，这时需要将shuffle设置为true，那么这时候用repartition 是有效的 而coalesce 是无效的

2:当A>B时 ?我们用repartition和都?是有效的，但是我们也要根据具体情况使用，提高资源运用的效率