交通数据分析系统:安装部署
1、实验描述
2、实验环境
- 虚拟机数量:1
- 系统版本:Centos 7.5
- Spark版本:2.1.1
3、相关技能
4、知识点
5、效果图
6、实验步骤
6.1Spark环境安装部署
6.1.1解压spark压缩包
6.1.1.1打开linux命令行终端(桌面上点鼠标右键,选择“打开终端”)
6.1.1.2命令行终端中,切换到spark压缩包所在目录/home/zkpk/tgz/spark
[zkpk@master ~]$ cd /home/zkpk/tgz/spark
6.1.1.3将spark压缩包解压缩到用户的根目录
[zkpk@master spark]$ tar -xzvf spark-2.1.1-bin-hadoop2.7.tgz -C /home/zkpk
6.1.2查看解压出的spark目录中的内容
6.1.2.1返回用户要目录
[zkpk@master spark]$ cd
6.1.2.2进入解压出的spark目录
[zkpk@master ~]$ cd spark-2.1.1-bin-hadoop2.7/
6.1.2.3查看此目录内容
[zkpk@master spark-2.1.1-bin-hadoop2.7]$ ll
6.1.3配置环境变量
6.1.3.1回退到用户根目录
[zkpk@master spark-2.1.1-bin-hadoop2.7]$ cd
6.1.3.2vim编辑.bash_profile文件
[zkpk@master ~]$ vim .bash_profile
6.1.3.3加入以下两行
export SPARK_HOME=/home/zkpk/spark-2.1.1-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
6.1.3.4运行source命令,重新编译.bash_profile,使添加变量生效
[zkpk@master ~]$ source .bash_profile
6.1.4验证Spark安装部署是否生效
6.1.4.1运行spark-shell
[zkpk@master ~]$ cd spark-2.1.1-bin-hadoop2.7[zkpk@master spark-2.1.1-bin-hadoop2.7]$ bin/spark-shell
6.1.4.2出现如下界面即为spark环境安装部署成功
7、总结
完成本实验能够手动安装Spark运行环境,为后面的spark算法预测出租车相关问题实验准备环境基础。
|