[大数据]spark-sql

一.纸上谈兵

二.spark的简介

SparkSql是什么

1.概念说明

Spark SQL是Spark处理数据的一个模块

专门用来处理结构化数据的模块

2.特点特征:

也可以通过命令行、JDBC、ODBC的方式来操作SparkSQL，方便其它数据平台、BI平台使用SparkSql模块。

在spark应用程序开发中，可以无缝使用SparkSql操作数据

可以直接使用Hive表格数据。

与Hive的兼容性极好

3.应用场景

用来处理hive的sql操作

4.代码实现

spark-shell操作sparksql

//直接输入spark-sql+自己想要添加的参数即可，与spark-shell相似 spark-sql [options] //如指定运行模式 spark-sql local[*] //如指定运行spark webui服务的端口，解决多人共用一个入口机时候的进入时候报port bind exception的问题 spark-sql --conf spark.ui.port=4075 //也可以用于似于hive -e的方式，直接直接一段sparksql代码 spark-sql –e “sparksql code”

DataFrames API操作SparkSql

环境配置

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_${scala.compile.version}</artifactId> <version>2.3.2</version> <scope>provided</scope> </dependency>