1、下载spark压缩包到linux进行解压 2、配置环境变量文件
#编辑配置文件
vim /etc/profile
#添加下面两行
export SPARK_HOME=/software/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin
3、配置主机信息
#进入conf目录中
cd /software/spark/conf
#先从提供的模板中复制slaves和spark-env.sh文件
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
#编辑slaves文件
(删除原有的内容,添加节点)
master
slaver1
slaber2
4、配置sapark-env
#编辑spark-env.sh
vim spark-env.sh
#添加下面内容
export SPARK_HOME=/software/spark
export JAVA_HOME=/software/java
export HADOOP_HOME=/software/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPAR_MASTER_PORT=7077
export SPARK_MASTER_HOST=master
5、source配置文件,并将spark的所有信息复制到其他的服务器节点上,使用scp命令进行传递。
#最后别忘记source一下
source spark-env.sh
将spark及相关复制到其他节点
|