|
一、local模式
local：使用一个worker线程本地化运行，完全不并行。
local[n]：用n个worker线程本地化运行，理想状态n应该等于机器cpu核数。
local[*]：使用与逻辑cpu相同数量的线程本地化运行。
二、standalone模式
spark://host:7077，使用指定的spark集群跑任务。web ui：http://host:8080。
1 client模式
测试环境用。
原理：
常用提交脚本：
2 cluster模式
生产环境用，可以设置ha和rdd的高可用，会有一个driver处于监听状态。
原理：
常用提交脚本：
三、on yarn模式
利用yarn来做资源管理和作业调度。web ui：http://host:8088。
1 client模式
以客户端方式连接yarn集群，用户提交任务后不能关闭client客户端，driver programe驻留client中，负责任务调度，此模式适合交互式作业，常用于测试环境。
脚本：
2 cluster模式
以集群模式连接yarn集群，关闭client后作业继续在yarn中运行，常用于企业生产环境。
脚本：
四、on mesos模式
连接到指定mesos集群，端口5050。
|