一.数据准备
partition.txt:
b,2
c,1
b,1
d,3
a,2
b,1
二.Spark Core中的分区
val rdd = sc.textFile("D:\\study\\workspace\\spark-sql-train\\input\\partition.txt")
.map(_.split(",")).map(x => (x(0), x(1)))
rdd.saveAsTextFile("output/level")
直接读取后保存，默认水平分区。
part-00000:
(b,2)
(c,1)
(b,1)
part-00001:
(d,3)
(a,2)
(b,1)
rdd.partitionBy(new HashPartitioner(2)).saveAsTextFile("output/hash")
hash分区（partitionBy这种算子只在键值对数据上会出现）：
part-00000:
(b,2)
(b,1)
(d,3)
(b,1)
part-00001:
(c,1)
(a,2)
rdd.partitionBy(new RangePartitioner(2, rdd)).saveAsTextFile("output/range")
range分区（分区内不保证有序）：
part-00000:
(b,2)
(b,1)
(a,2)
(b,1)
part-00001:
(c,1)
(d,3)
三.Spark SQL中的分区和分桶（用HQL）
rdd.toDF("col1", "col2").groupBy("col1").count()
.write.format("json").mode("overwrite").save("output/sql")
groupBy有4个key，则有5个json文件，一个为空，其他每个文件保存一个key。
rdd.toDF("col1", "col2").orderBy("col1")
.write.format("json").mode("overwrite").save("output/sql")
orderBy有4个key，则有4个json文件，每个文件保存一个key。
上面这些都是一个key一个文件，key过多可能会有小文件问题，我的理解是都写入到数据库中。
按第一列分区，第二列分桶。
import spark.implicits._
rdd.toDF("col1", "col2").orderBy("col1")
.write.format("json")
.partitionBy("col1")
.bucketBy(2, "col2")
.saveAsTable("bucket")
除了上面这种情况，其他分桶数都会出错。
数据量大的话，就有4×2=8个文件。只分桶只有两个文件。
如果寻找col1 = d的文件，分区后只需要搜索两个小文件就行，不分区，需要搜索两个大的文件。
只需要把文件夹当作一个索引就行。
最好直接用hive的分区分桶，spark sql的bucket指定数量绝大部分情况没用。生成文件的数量还是按key的种类数量来算的，打开enableHiveSupport()，用hive的语句吧。