[大数据]Spark学习笔记(15)——广播变量

我们在Executor端执行的代码中使用的Driver端数据称为闭包数据，这个数据是以task为单位发送到Executor端的，相同的闭包数据每个task中都有一份，当一个Executor中包含多个task，并且闭包数据量较大时，就造成了一个Executor中含有大量重复的数据，并且占用大量的内存。有没有办法解决这个问题呢？

一、什么是广播变量

Executor其实就一个JVM，所以在启动时，会自动分配内存。完全可以将任务中的闭包数据放置在Executor的内存中，达到共享的目的。

广播变量是Spark 计算框架为了能够进行高并发和高吞吐的数据处理封装的三大数据结构之一，功能是实现分布式共享只读变量，它可以将闭包的数据保存到Executor的内存中。如下图所示，Executor中只保存一份闭包数据，供所有task共享读取。为避免不同task线程同时对数据写操作造成数据混乱，广播变量是只读的。

二、广播变量的使用

广播变量的使用很简单，只需要用broadcast方法将一个普通变量封装为广播变量，就可以在Executor端执行的代码中使用了。

val map = mutable.Map(("a", 4),("b", 5),("c", 6))

// 封装广播变量
val bc: Broadcast[mutable.Map[String, Int]] = sc.broadcast(map)