[大数据]Spark自定义分区器

Spark分区介绍

Spark 目前支持Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了RDD 中分区的个数、RDD 中每条数据经过Shuffle 后进入哪个分区，进而决定了Reduce 的个数。
只有Key-Value 类型的RDD 才有分区器，非 Key-Value 类型的RDD 分区的值是 None
每个RDD 的分区 ID 范围：0 ~ (numPartitions - 1)，决定这个值是属于那个分区的。

hash分区和Range分区

1. Hash 分区：对于给定的 key，计算其hashCode,并除以分区个数取余
2. Range 分区：将一定范围内的数据映射到一个分区中，尽量保证每个分区数据均匀，而且分区间有序

自定义分区代码案例

注意：只有Key-Value 类型的RDD 才有分区器，非 Key-Value 类型的RDD 分区的值是 None

package com.liwei.bigdata.spark.core.partition
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partitioner, SparkConf, SparkContext}

object Spark01_RDD_Partition{
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc: SparkContext = new SparkContext(sparkConf)

    val rdd = sc.makeRDD(List(("篮球", "xxxxxx"), ("足球", "xxxxxx"), ("乒乓球", "xxxxxx"), ("电竞", "xxxxxx")))
    val pardd: RDD[(String, String)] = rdd.partitionBy(new MyPartitioner)

    pardd.saveAsTextFile("output")
  }
  
  /**
   * 自定义分区器
   * 1.继承Partitioner
   * 2.重写方法
   */
  class MyPartitioner extends Partitioner{
    //分区数量
    override def numPartitions: Int = 4

    //根据数据的key值返回数据的分区索引(从0开始)
    override def getPartition(key: Any): Int = {
      key match {
        case "篮球" => 0
        case "足球" => 1
        case "乒乓球" => 2
        case _ => 3
      }
//      if (key == "篮球"){
//        0
//      }else if (key == "足球"){
//        1
//      }else if (key == "乒乓球"){
//        2
//      }else if (key == "电竞"){
//        3
//      }else{
//        3
//      }
    }
  }
}

如有侵权，联系本人删除！！！