目录
其实对初学spark的同学来说，Sparksession，sparkcontext，sparksql，SparkConf看着都特别像，搞着搞着就混了，而且每次创建sparkSession对象时，还有多种写法，都差不多，但是对象又不一样，今天通过百度和理解，我把这几个对象梳理一下。
SparkSession是在Spark 2.0中引入的，SparkSession现在是Spark的新入口点，它替换了旧的SQLContext和HiveContext。注意，保留旧的SQLContext和HiveContext是为了向后兼容。因此，如果您正在使用Spark 2.0或更高版本，建议使用SparkSession。（先应个题）
一.先从SparkContext和SparkConf开始：
1.SparkContext 是什么?
任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。一旦设置完成SparkConf，就不可被使用者修改
初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。
总结下来就是：
a.驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。
b.使用SparkContext，可以访问其他上下文，比如SQLContext和HiveContext。
c.使用SparkContext，我们可以为Spark作业设置配置参数。
Spark Shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用Spark Shell的时候，本身是预配置了sc，即SparkConf和SparkContext的，但是在实际使用编辑器编程过程中是需要设置这些配置的。配置代码如下：
val conf = new SparkConf().setMaster("master").setAppName("appName")
val sc = new SparkContext(conf)
或者
val sc = new SparkContext("master","appName")setMaster主要是连接主节点，如果参数是”local”，则在本地用单线程运行spark，如果是 local[4]，则在本地用4核运行，如果设置为spark://master:7077，就是作为单节点运行，而setAppName就是在web端显示应用名而已，它们说到底都调用了set()函数
2、创建SparkContext的步骤：
创建SparkContext一般要经过下面几个步骤：?
a). 导入Spark的类和隐式转换?
import org.apache.spark.{SparkContext, SparkConf}?
import org.apache.spark.SparkContext._
b). 构建Spark应用程序的应用信息对象SparkConf?
val conf = new SparkConf().setAppName(appName).setMaster(master_url)
c). 利用SparkConf对象来初始化SparkContext?
val sc = new SparkContext(conf)
d). 创建RDD、执行相应的Transformation和Action并得到最终结果。
e). 关闭Context?
在完成代码的编写和测试后，使用spark-submit来提交应用的jar包。spark-submit的命令行参考如下：?
Spark的运行模式取决于传递给SparkContext的master环境变量的值。master-url可以是以下任一种形式：?
local 使用一个Worker线程本地化运行Spark(完全不并行)?
local[*] 使用逻辑CPU数量的线程来本地化运行Spark?
local[K] 使用K个Worker线程本地化运行Spark（理想情况下，K应该根据运行机器的CPU核数设定）?
spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077。?
yarn-client 以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。?
yarn-cluster 以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。?
mesos://HOST:PORT 连接到指定的Mesos集群。默认接口是5050.?
而spark-shell会在启动的时候自动构建SparkContext，名称为sc。
3、SparkConf
可以认为这个对象类似于配置，或配置文件（代码和创建见上面）
一旦设置完成SparkConf，就不可被使用者修改
?继续深追，看看这个set（）方法，
logDeprecation（key）是日志输出函数，防止输入参数名无效， 看看settings，是个HashMap结构，追溯一下：?
果然，是个ConcurrentHashMap对象，ConcurrentHashMap主要作用是解决多线程并发下数据段访问效率，该类相对于hashMap而言具有同步map中的数据，对于hashTable而言，该同步数据对于并发程序提高了极高的效率，所以在使用缓存机制的时候如果对map中的值具有高并发的情况的话，那么我们就需要使用ConcurrentHashMap，ConcurrentHashMap中主要实体类就是三个：ConcurrentHashMap（整个Hash表）,Segment（桶），HashEntry（节点），CurrentHashMap的初始化一共有三个参数，一个initialCapacity，表示初始的容量，一个loadFactor，表示负载参数，最后一个是concurrentLevel，代表ConcurrentHashMap内部的Segment的数量，ConcurrentLevel一经指定，不可改变，这也是为什么SparkConf配置好了就无法更改的原因。
ConcurrentHashMap应用了锁分段技术，HashTable容器在竞争激烈的并发环境下表现出效率低下的原因，是因为所有访问HashTable的线程都必须竞争同一把锁，那假如容器里有多把锁，每一把锁用于锁容器其中一部分数据，那么当多线程访问容器里不同数据段的数据时，线程间就不会存在锁竞争，从而可以有效的提高并发访问效率，这就是ConcurrentHashMap所使用的锁分段技术，首先将数据分成一段一段的存储，然后给每一段数据配一把锁，当一个线程占用锁访问其中一个段数据的时候，其他段的数据也能被其他线程访问。
另外，如果ConcurrentHashMap的元素数量增加导致ConrruentHashMap需要扩容，ConcurrentHashMap是不会增加Segment的数量的，而只会增加Segment中链表数组的容量大小，这样的好处是扩容过程不需要对整个ConcurrentHashMap做rehash，而只需要对Segment里面的元素做一次rehash就可以了。
二、SQLContext和HiveContext?
1.SQLContext 是什么?
SQLContext是通往SparkSQL的入口。下面是如何使用SparkContext创建SQLContext。
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)2.HiveContext 是什么???
HiveContext是通往hive入口。
HiveContext具有SQLContext的所有功能。
实际上，如果查看API文档，就会发现HiveContext扩展了SQLContext，这意味着它支持SQLContext支持的功能以及更多(Hive特定的功能)
public class HiveContext extends SQLContext implements Logging创建方式：
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)三、SparkSession?
终于到正题了，那sparkSession是什么，为什么跟上面的兄弟那么像？
1.SparkSession是在Spark 2.0中引入的，
它使开发人员可以轻松地使用它，这样我们就不用担心不同的上下文，
并简化了对不同上下文的访问。通过访问SparkSession，我们可以自动访问SparkContext。
SparkSession实质上是SQLContext和HiveContext的组合（未来可能还会加上StreamingContext），所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了sparkContext，所以计算实际上是由sparkContext完成的。?
下面是如何创建一个SparkSession
val sparkSession = SparkSession.builder
.master("master")
.appName("appName")
.getOrCreate()
或者
SparkSession.builder.config(conf=SparkConf())发现没：SparkConf()老工具人了，哪里需要配置，哪里就有他
2.getOrCreate()：有就拿过来，没有就创建，类似于单例模式：
s1 = SparkSession().builder.config("k1", "v1").getORCreat()
s2 = SparkSession().builder.config("k2", "v2").getORCreat()
return s1.conf.get("k1") == s2.conf.get("k2")
True一旦我们访问了SparkSession，我们就可以开始使用DataFrame和Dataset了。
下面是我们如何使用Hive支持创建SparkSession。
val spark = SparkSession
.builder()
.appName("hirw-hive-test")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()
val dq = spark.read.option("header", "true").csv("src/main/resources/scala.csv")SparkSession是在Spark 2.0中引入的，SparkSession现在是Spark的新入口点，它替换了旧的SQLContext和HiveContext。注意，保留旧的SQLContext和HiveContext是为了向后兼容。因此，如果您正在使用Spark 2.0或更高版本，建议使用SparkSession。