[大数据]Spark集群搭建

4、Spark集群搭建

4.1. 安装环境

• 搭建之前确认对应的 java 版本为1.8版本。

• 搭建之前确认对应的 scala 版本为2.12.x版本。

  • ##三台计算机Node01 Node02 Node03都需要安装Scala
    [root@node01 ~]# rpm -ivh scala-2.12.11.rpm
    [root@node01 ~]# whereis scala    //usr/share/scala
    [root@node01 ~]# vim /etc/profile
    
    export SCALA_HOME=/usr/share/scala
    export PATH=$SCALA_HOME/bin:$PATH
    
    [root@node01 ~]# source /etc/profile
    

4.2. standalone模式

• 下载上传解压删除安装包

  • [root@node01 ~]# tar -zxvf spark-2.4.6-bin-without-hadoop-scala-2.12.tgz
    [root@node01 ~]# rm -rf spark-2.4.6-bin-without-hadoop-scala-2.12.tgz
    [root@node01 ~]# mv spark-2.4.6-bin-without-hadoop-scala-2.12 spark-2.4.6
    [root@node01 ~]# mv spark-2.4.6 /opt/yjx/
    [root@node01 ~]# cd /opt/yjx/spark-2.4.6/conf
    

• 修改Spark工作节点

  • [root@node01 conf]# mv slaves.template slaves
    [root@node01 conf]# vim slaves
    

  • node01
    node02
    node03
    关闭# :wq
    

• 修改Spark环境

  • [root@node01 conf]# mv spark-env.sh.template spark-env.sh
    [root@node01 conf]# vim spark-env.sh
    

  • JAVA_HOME :配置 java_home 路径

    SPARK_MASTER_HOST : master 节点的 ip

    SPARK_MASTER_PORT :提交任务的端口，默认是 7077

    SPARK_WORKER_CORES ：每个 worker 从节点能够支配的 core 核的个数

    SPARK_WORKER_MEMORY :每个 worker 从节点能够支配的内存数

  • export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
    export SPARK_MASTER_HOST=node01
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_CORES=2
    export SPARK_WORKER_MEMORY=2g
    export HADOOP_HOME=/opt/yjx/hadoop-3.1.2
    export HADOOP_CONF_DIR=/opt/yjx/hadoop-3.1.2/etc/hadoop
    export SPARK_DIST_CLASSPATH=$(/opt/yjx/hadoop-3.1.2/bin/hadoop classpath)
    

• 同步到其他节点

  • [root@node01 ~]# scp -r /opt/yjx/spark-2.4.6 root@node02:/opt/yjx/
    [root@node01 ~]# scp -r /opt/yjx/spark-2.4.6 root@node03:/opt/yjx/
    

• 配置环境变量

  • [123 ~]# vim /etc/profile
    

    export SPARK_HOME=/opt/yjx/spark-2.4.6
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
    

    【123 ~】# source /etc/profile
    

• 启动集群

  • [root@node01 ~]# cd /opt/yjx/spark-2.4.6/sbin/
    [root@node01 sbin]# ./start-all.sh
    

• 访问

  • http://192.168.88.101:8080/
  • 

• Tips：

  • 8080是Spark WEBUI界面的端口，7077是Spark任务提交的端口。

  • 如需修改master的WEBUI端口：

    • 修改$SPARK_HOME/sbin/start-master.sh即可。

  

• 运行案例

  • spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/sparkexamples_2.12-2.4.6.jar 10
    

• 关机快照

  • [root@node01 ~]# cd /opt/yjx/spark-2.4.6/sbin/
    [root@node01 sbin]# ./stop-all.sh
    [root@node01 sbin]# shutdown -h now
    

4.3. yarn模式

• 启动集群前配置和Standalone相同

• spark-env.sh 文件追加如下内容

  • 在安装standalone模式的时候已经添加。无需再添加，可直接使用。

  • export HADOOP_HOME=/opt/yjx/hadoop-3.1.2
    export HADOOP_CONF_DIR=/opt/yjx/hadoop-3.1.2/etc/hadoop
    

• 启动集群

#启动Zookeeper：
【123】# zkServer.sh start
#启动Hadoop :
[root@node01 ~]# start-all.sh
#启动Spark:
[root@node01 ~]# cd /opt/yjx/spark-2.4.6/sbin/
[root@node01 sbin]# ./start-all.sh

• 访问

  • spark: http://192.168.88.101:8080/
  • hdfs: http://192.168.88.101:9870/
  • yarn: http://192.168.88.101:8088

• 提交任务

• spark-submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-2.4.6.jar 10