主要通过两种?式操作 SparkSQL ，?种就是 SQL ，另?种为 DataFrame 和 Dataset 。

• SQL

• DataFrame和Dataset

二、RDD V.S. DataFrame V.S. Dataset

2.1?RDD

2.2DataFrame

?

2.3Dataset

相对于RDD，Dataset提供了强类型?持，也是在RDD的每?数据加了类型约束

?使?Dataset API的程序，会经过Spark SQL的优化器进?优化

?????????前仅?持Scala、Java API，尚未提供Python的API（所以?定要学习Scala），相?DataFrame，Dataset提供 了编译时类型检查，对于分布式程序来讲，提交?次作业太费劲了（要编译、打包、上传、运?），到提交到集群 运?时才发现错误，实在是想骂?，这也是引?Dataset的?个重要原因。

?使?Dataset实现，会在IDE中就报错，出错提前到了编译之前?

?三、SparkSQL的编程??

3.1????SparkSQL基本编程

创建SparkSQL的模块

创建?程省略，引?PomSparkSQL编程初体验

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>${spark.version}</version>
</dependency> <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>

3.2 SparkSQL编程初体验

• SparkSession的构建

val spark = SparkSession.builder()
 .appName("SparkSQLOps")
 .master("local[*]")
//.enableHiveSupport()//?持hive的相关操作
 .getOrCreate()

• 基本编程

数据

{"name":"Michael", "age":10, "height": 168.8, "province": "广东"}
{"name":"Andy", "age":30, "height": 168.8, "province": "福建"}
{"name":"Justin", "age":19, "height": 169.8, "province": "浙江"}
{"name":"王启峰", "age":32, "height": 188.8, "province": "广东"}
{"name":"John", "age":10, "height": 168.8, "province": "河南"}
{"name":"Domu", "age":19, "height": 179.8, "province": "浙江"}
{"name":"郭英伟", "age":13,  "height": 178.8, "province": "福建"}
{"name":"王  荃", "age":18, "height": 175.8, "province": "河南"}
{"name":"米  鼎", "age":19, "height": 190.8, "province": "广东"}

代码

package org.aurora.sparkSQL_01

import org.apache.spark.sql.{Column, DataFrame, SparkSession}

object Dfef {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder()
            .appName("SparkSQLOps")
            .master("local[*]")
            // .enableHiveSupport()//?持hive的相关操作
            .getOrCreate()
        //加载数据
        val pdf:DataFrame = spark.read.json("file:///E:/data/spark/sql/people.json")
        //?维表结构
        pdf.printSchema()
        //数据内容 select * from tbl
        pdf.show()
        //具体的查询 select name, age from tbl
        pdf.select("name", "age").show()
        import spark.implicits._//导?sparksession中的隐式转换操作，增强sql的功能
        pdf.select($"name",$"age").show()
        //列的运算，给每个?的年龄+10 select name, age+10,height-1 from tbl
        pdf.select($"name",$"height" - 1, new Column("age").+(10)).show()
        //起别名 select name, age+10 as age,height-1 as height from tbl
        pdf.select($"name",($"height" - 1).as("height"), new Column("age").+ (10).as("age")).show()
        //做聚合统计 统计不同年龄的?数 select age, count(1) counts from tbl group by age
        pdf.select($"age").groupBy($"age").count().show()
        //条件查询 获取年龄超过18的?户 select * from tbl where age > 18
        // pdf.select("name", "age", "height").where($"age".>(18)).show()
        pdf.select("name", "age", "height").where("age > 18").show()
        //sql
        // pdf.registerTempTable()//在spark2.0之后处于维护状态，使?createOrReplaceTempView
        /*
        从使?范围上说，分为global和?global
        global是当前SparkApplication中可?，?global只在当前SparkSession中可?
        从创建的?度上说，分为createOrReplace和不Replace
        createOrReplace会覆盖之前的数据
        create不Replace，如果视图存在，会报错
        */
        pdf.createOrReplaceTempView("people")
        spark.sql(
            """
              |select
              | age,
              | count(1) as countz
              |from people
              |group by age
            """.stripMargin).show
        spark.stop()
    }
 

}