spark maven项目本地测试报错:
org.apache.spark.SparkException: A master URL must be set in your configuration
原因是没有指定master,spark不知道运行在什么上面,可以指定的有: local 本地单线程 local[K] 本地多线程(指定K个内核) local[*] 本地多线程(指定所有可用内核) spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。 mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。 yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。 yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
解决方式:
在代码中指定,比如:
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.master("local")
.getOrCreate()
|