学习大数据专业的人，相信对Spark这个名词不陌生吧，Spark是一个基于内存的开源计算框架。Spark作为大数据领域活跃、热门、高效的大数据通用计算平台，2009年诞生于美国加州大学伯克利分校AMP实验室。今天加米谷为大家带来关于什么是Spark的一些介绍。
?
?
- Spark的发展史
2009年诞生于美国加州大学伯克利分校AMP实验室；
2010年通过BSD许可协议开源发布；
2013年成为Apache孵化项目；
2014年2月成为Apache的顶级项目；
2014年5月Spark1.0.0版正式上线；
2014年11月，Spark的母公司Databricks团队使用Spark刷新数据排序世界记录
- Spark的体系结构
Spark主要包括Spark Core和在Spark Core基础之上建立的应用框架Spark SQL、Spark Streaming、MLlib和GraphX。
?
?
3、Spark的安装
Spark伪分布模式的部署
解压 tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz -C ~/training/
注意：由于Hadoop和Spark的脚本有冲突，设置环境变量的时候，只能设置一个
核心配置文件: ?conf/spark-env.sh
?????????export JAVA_HOME=/root/training/jdk1.8.0_144
?????????export SPARK_MASTER_HOST=bigdata111
?????????export SPARK_MASTER_PORT=7077 ?????
从节点的地址：slaves文件中填入主机名即可，注意hosts文件里要有对ip的解析
启动Spark集群 ?sbin/start-all.sh，这里我个人是给这个文件做了一个软链接start-spark.sh，因为hadoop下的启动脚本也是start-all.sh，会有冲突
Web界面：主机名:8080
4、Spark的特点
快！与之前我们所写的关于Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。
以上就是关于什么是Spark的一些介绍了，Spark还有很多的强大的能力需要去了解，目前Spark已经在电商、零售、商业和金融等领域广泛的使用，对我们从业者来说是很重要的。