spark的shuffle流程
1.shuffle发生在宽依赖算子划分阶段的时候，但是宽依赖算子不一定发生shuffle
2.shuffle分为两个阶段，一个是shuffle-write，另一个是shuffle-read
3.在shuffle-执行write时，我们要可以选择一个分区器，比如有hashpartition、rangepartition，还有用户自定义的分区器
4.在write时，还会生成一个write对象
-- unsafeshufflewrite对象
-- bypassMergeshufflewrite对象
-- sortedshufflewrite对象
在底层的源码中，前两个对象是使用if来判断的，所以是有条件才会走这两个write对象的，比如bypassMergeshufflewrite对象，只有在满足partition<200而且不会进行预聚合操作才会执行这个对象，而sortedshufflewrite则在else语句中，所以底层百分之九十都是用的sortedshufflewrite对象
5.shuffle会将一个分区的数据指向多个分区，分区数有=由分区器决定
6.如果write对象使用的是sortedshufflewrite对象，那么在分区写入buffer前会进行预排序
7.write阶段由分区写出后便会将数据写入到多个buffer中，这里的buffer的数量是看数据指向几个分区就有多少个(这里是2.X版本)
8.write阶段的buffer阈值是32kb，达到阈值后就会溢写成一个临时文件，由于临时文件有多个，大量文件进行传输会造成很大的磁盘IO，所以会进行一次文件的合并操作，合并成一个大文件，并维护一个索引文件，里面记录着各个分区的偏移量以及长度等(这里的合并用到了归并算法) write阶段到此结束
9.shuffle的read阶段，下游RDD会创建一个buffer(阈值48M)去索引文件中找到自己所需数据的偏移量以及长度等，然后从文件中拉去数据
10.由于拉取的数据可能来自多个分区，所以还会进行一次合并操作，这次用到的也是归并算法，到此shuffle阶段结束
|