| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> hive on spark配置和需要注意的点 -> 正文阅读 |
|
[大数据]hive on spark配置和需要注意的点 |
1,首先是环境一定要统一,我首先说一下我的环境 Hive3.1.2(并且是对于spark3.00来说是编译好的),spark的2个压缩包分别为 spark-3.0.0-bin-hadoop3.2.tgz,spark-3.0.0-bin-without-hadoop.tgz 上面的2个spark一定要确定版本,如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包 2.上面环境弄好后就是解压spark的第一个压缩包,然后配置环境变量,注意只要配置环境变量就好,其它的配置可以不用去弄,我把以前的spark的环境变量注释了,采用新的 ?3,如果上面的做好了,就可以解压缩另一个spark的压缩包,然后在hdfs上将解压的jar包拉进来 命令如下: hadoop fs -mkdir?/spark-jars hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars 4,后面就是在hive的conf目录建一个文件夹名为spark-defaults.conf,内容如下: spark.master ??????????????????????????????yarn spark.eventLog.enabled ??????????????????true spark.eventLog.dir ???????????????????????hdfs://hadoop102:8020/spark-history spark.executor.memory ???????????????????1g spark.driver.memory ???1g 其中spark.eventLog.dir ?是用来存放spark行日志,根据自己的机器来 5,下面才是最重要的一步,就是修改hive-site.xml文件,加入spark引擎,这一步一定要做 <!--Spark依赖位置(注意:端口号8020必须和namenode的端口号一致)--> <property> ????<name>spark.yarn.jars</name> ????<value>hdfs://hadoop102:8020/spark-jars/*</value> </property> <!--Hive执行引擎--> <property> ????<name>hive.execution.engine</name> ????<value>spark</value> </property> 可能每个人的hive-site.xml都不一样,但一定要记住,如果你以前配置过hive现在要重新配置hive一定要将元数据的数据库变成一个新的,一定不要和以前的一样,还有就是一定要在hive的lib加入连接MySQL的jar包 我遇到的问题是下面这种情况,就是缺少这个jar包,名字是MySQL.jar ? ?如果你上面的步骤都做好了,并且都配置好了,那么你就可以启动hive的元数据了,如果是下面的图片的问题就是启动成功了,下面就是测试hive了 ?6.如果你在hive往表里插入数据是如下图,那么恭喜你你的hive配置spark计算引擎成功了,hive首次使用spark计算会有点慢,等一下就好 ?最后在给大家提一下,首先就是注意hive的版本一定是编译好的,这个一定要的,然后按我的那个步骤来安装就好,最后就是提醒一下,如果上面的都配置好了如果启动还是又问题那么一定是hive-site.xml文件没有配置好,一定是这个有问题导致失败,大家如果遇到问题一定要心静慢慢解决问题,确保自己每一步都没有问题,如果大家要安装包和hive-site.xml文件的配置都可以给我留言,或者遇到别的问题也可以,我能解决的一定帮助大家解决。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年3日历 | -2025/3/4 7:23:40- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |