[大数据]spark内核源码

spark内核结构：

1、Application

2、spark-submit

3、Driver

4、SparkContext

5、Master

6、Worker

7、Executor

8、Job

9、DAGScheduler

10、TaskScheduler

11、ShuffleMapTask and ResultTask

yarn环境:

除了yarn环境外还有k8s和mesos环境

1.submitApplication
2.启动ApplicationMaster
3.AM通过参数启动Driver线程,初始化SparkContext
4.注册AM,申请资源
5.返回资源列表
6.启动Executor
7.注册Executor
8.注册成功
9.创建Executor计算对象

大的Executor称为通信的后台 小的称为计算对象
一般说的都是大的通信的后台

Spark通用流程