[大数据]spark面试题-简述Spark中共享变量（广播变量和累加器）的基本原理与用途

累加器：

• 累加器可以理解为一种分布式变量，其在driver端创建并赋初值，随着任务的分发在taskExecutor执行更新。

• 累加器只能在driver端读取，不能在executor端读取，在executor端可以通过add方法累加，不同executor的累加互不影响，executor是task级别的。

广播变量：

对应闭包中某些变量，会随着任务的分发而分发，如果有1000个任务，则会被分发1000次，且被缓存1000次，影响作业运行性能。

spark也许使用广播在task分发之前将变量发送到executor，同一个executor的多个task共享这个变量，降低了任务分发时的消耗和内存消耗。

rdd不能被广播，如果要广播rdd，需要使用collect算子将数据汇总到driver，然后广播数据。

executor不能修改广播数据，广播数据是只读的。

用途：

• 累加器可以用在诸如统计全局次数之类的场景
• 广播变量用在优化shuffle、提升性能的场景