[大数据][Spark] 循环，合并，如何提速？——初学者Naive方法

一些时候，我们在for循环中使用Spark函数，同时想对每个loop的结果进行合并，或许是左右合并，或许是上下合并。

例如，一个naive的图画，

当然，上面的例子需要保证2者有共同的列，下面需要保证列的数量、内容相同。

基本操作：

// 左右拼接

C = A.join(B, based_on_col="XXX")

// 上下拼接

C = A.union(B)

?可是，我在很多时候发现，此种代码很多情况下奇慢无比？？？

说好的Spark处理大数据呢？？？骗我吗？？？

经过我多番搜寻，各路大神给出了很多设置Spark Configurations的方法，可能是我的电脑的问题，或者是我的问题，发现既复杂又没啥用。

于是，我不知道怎么回事的发现了一个函数，cache()

就真的提速了无比多....

对于一些小型的应用，也不太需要考虑底层的，反正快就是了。

for ........ {
    A = A.cache()
    B = B.cache()
    C = A.join(B).cache()
}


for ........ {
    A = A.cache()
    B = B.cache()
    C = A.union(B).cache()
}

这就是一个Naive的方法。