[大数据] Spark搭建

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Spark搭建 -> 正文阅读

[大数据]Spark搭建

Spark搭建

1.停止hadoop集群

#在master上执行
stop-all.sh

2.上传saprk安装包

在这里插入图片描述

3.解压至soft目录

#解压
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /usr/local/soft/

在这里插入图片描述

#重命名
mv spark-2.4.5-bin-hadoop2.6 spark-2.4.5

在这里插入图片描述

4.配置环境变量

#spark
export SPARK_HOME=/usr/local/soft/spark-2.4.5
export PATH=$SPARK_HOME/bin:$PATH

在这里插入图片描述

#刷新
scoure /etc/profile

5.修改配置文件

#重命名spark-env.sh.template文件为spark-env.sh
mv spark-env.sh.template spark-env.sh

在这里插入图片描述

vim spark-env.sh 
#追加一下内容
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

在这里插入图片描述

#重命名slaves.template为slaves
mv slaves.template slaves

在这里插入图片描述

vim slaves
#追加一下内容
node1
node2

在这里插入图片描述

6.同步到从节点

#node1
scp -r spark-2.4.5/ node1:`pwd`
#node2
scp -r spark-2.4.5/ node2:`pwd`

7.启动spark集群

#进入spark的sbin目录
cd /usr/local/soft/spark-2.4.5/sbin/
#启动集群
./start-all.sh

在这里插入图片描述

8.查看进程

master

在这里插入图片描述

node1

在这里插入图片描述

node2

在这里插入图片描述

9.spark ui

http://master:8080/

在这里插入图片描述

10.测试

#进入jars目录
cd /usr/local/soft/spark-2.4.5/examples/jars

在这里插入图片描述

spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 spark-examples_2.11-2.4.5.jar 100

在这里插入图片描述