Spark 单机版
Spark 还久没有配置了,做个配置记录一下 Spark 单机版,不依赖Hadoop,只需安装JDK,Scala。
简介
查看网上好多安装Spark的步骤都太长了,不够简约,再此做个简约的步骤记录
一、前期准备
我使用版本的是 :
jdk1.8.0_141
scala-2.11.12
spark-2.3.2-bin-hadoop2.7
二、安装步骤
1.环境依赖
全部解压后在 添加环境变量(~/.bashrc):
# java
export JAVA_HOME=/root/BigData/jdk1.8.0_141
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
# scala
export SCALA_HOME=/root/BigData/scala-2.11.12
# spark 没有依赖hadoop
export SPARK_HOME=/root/BigData/spark-2.3.2-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH:${SPARK_HOME}/bin
2.Spark 文件修改
复制出两个文件(cd spark解压文件/config/):
cp spark-env.sh.template spark-env.sh
在spark-env.sh 最下面加入:
export JAVA_HOME=/root/BigData/jdk1.8.0_141
export SCALA_HOME=/root/BigData/scala-2.11.12
export SPARK_HOME=/root/BigData/spark-2.3.2-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G
cp slaves.template slaves
编辑 slaves,内容为 localhost
3.启动测试
测试
然后我们可以进行测试,spark-2.3.2-bin-hadoop2.7 在这个目录下执行:
./bin/run-example SparkPi 10
配置成功 启动
跟上面一样也是在 spark-2.3.2-bin-hadoop2.7 目录下,执行:
./bin/spark-shell
启动成功
|