hive on spark 已测，完美搭建
前言
安装包版本
Hadoop-3.1.3
Hive-3.1.2
Spark-3.0.0
安装包要选择博主安装包，已经经过编译，可以避开许多坑
Hadoop压缩包
链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw
提取码：1234
–如下载不上或需要远程协助，移步v xy18796357645告明来意
一 、Hive on Spark配置
1）兼容性说明
注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。
编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包，不过上面的链接已经是经过编译的，可以直接拿来使用。
2）在Hive所在节点部署Spark
如果之前已经部署了Spark，则该步骤可以跳过，但要检查SPARK_HOME的环境变量配置是否正确。
二、使用步骤
1.上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz
代码如下（示例）：
[root@node1 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[root@node1 software]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark
2.配置SPARK_HOME环境变量
代码如下（示例）：
[root@node1 software]$ sudo vim /etc/profile.d/my_env.sh
# 添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
source 使其生效
[root@node1 software]$ source /etc/profile.d/my_env.sh
3.在hive中创建spark配置文件
1) 添加如下内容（在执行任务时，会根据如下参数执行），如果没有重命名spark-defaults.conf请重命名
[root@node1 software]$ vim /opt/module/hive/conf/spark-defaults.conf
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node1:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g
在HDFS创建如下路径，用于存储历史日志
[root@node1 software]$ vim /opt/module/hive/conf/spark-defaults.conf
向HDFS上传Spark纯净版jar包
（1）上传并解压spark-3.0.0-bin-without-hadoop.tgz
[root@node1 software]$ tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz
（2）上传Spark纯净版jar包到HDFS
[root@node1 software]$ hadoop fs -mkdir /spark-jars
[root@node1 software]$ hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars
4.修改hive-site.xml文件
[root@node1 ~]$ vim /opt/module/hive/conf/hive-site.xml
添加如下内容
<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property>
<name>spark.yarn.jars</name>
<value>hdfs://node1:8020/spark-jars/*</value>
</property>
<!--Hive执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
5.Hive on Spark测试
1）启动hive客户端
[root@node1 hive]$ bin/hive
（2）创建一张测试表
hive (default)> create table student(id int, name string);
（3）通过insert测试效果
hive (default)> insert into table student values(1,'abc');
若结果如下，则说明配置成功
总结
本次是对已经有搭建基础的人做讲解，其他组件安装教程后续发布