spark启动历史服务配置时,没报错,然后在运行spark任务时报错: Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 通过查看spark历史服务配置的日志,日志路径为spark/logs目录下,发现spark的history历史服务并没有起来,日志报错为:Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 大致意思是hdfs拒绝了连接,原因是默认我的hadoop中core-site.xml文件中配置的hdfs端口为9000 而在spark的yarn配置中,我的spark.eventLog.dir中hdfs端口为8020 解决方案:将两边的端口匹配。 方法一:需改spark目录下conf/spark-defaults.conf和spark-env.sh,将其中spark历史log的hdfs端口改为9000(推荐此做法)
方法二:直接修改core-site中hdfs的默认端口,将9000端口改为8020
修改后即可启动spark历史配置服务。
|