IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hive安装与配置 -> 正文阅读

[大数据]hive安装与配置

?

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将HQL(类sql)语句转变成MapReduce任务来执行----摘自百度百科

?hive安装和配置

安装

一:hive下载地址:?http://archive.apache.org/dist/hive/

?

1.安装包上传到linux自己的安装包存放目录

?

2.解压到指定的目录:tar -xvf apache-hive-2.1.1-bin.tar.gz -C ../servers/

3.修改 hive.env.sh 文件,指定hadoop安装路径、hive配置文件路径

4.拷贝hive-env.sh.template模板文件为hive-env.sh 文件

命令:cp hive-env.sh.template hive-env.sh

5.vim hive-env.sh(路径一定要写对,否则报乱七八糟的错都不知道是什么原因)

6.配置hive-size.xml

Conf 中没有这个文件,直接 vim hive-size.xml

注意:hive元数据存储使用mysql,需安装mysql,下面配置内容里有mysql用户名与密码,其他根据注释改成自己的路径即可,注意mysql要赋予足够权限

内容:

<configuration>

<!--连接数据的用户名-->

??<property>

??????<name>javax.jdo.option.ConnectionUserName</name>

??????<value>root</value>

??</property>

<!--连接数据的密码-->

??<property>

??????<name>javax.jdo.option.ConnectionPassword</name>

??????<value>123456</value>

??</property>

<!--mysql数据库的访问路径,没有路径则自动创建-->

??<property>

??????<name>javax.jdo.option.ConnectionURL</name>

??????<value>jdbc:mysql://192.168.110.120:3306/hive?createDatabaseIfNotExist=true&useSSL=false&serverTimezone=GMT%2B8</value>

??</property>

<!--连接数据库的驱动-->

??<property>

??????<name>javax.jdo.option.ConnectionDriverName</name>

??????<value>com.mysql.jdbc.Driver</value>

??</property>

<!--元数据是否校验-->

??<property>

??????<name>hive.metastore.schema.verification</name>

??????<value>false</value>

??</property>

<!--关闭元数据存储授权 -->

??<property>

??????<name>hive.metastore.event.db.notification.api.auth</name>

??????<value>false</value>

??</property>

<!--远程模式部署服务地址(端口固定,地址写自己hive服务地址)-->

<property>

????<name>hive.metastore.uris</name>

????<value>thrift://node03:9083</value>

??</property>

<!--thrift服务器绑定的主机(自己hive服务地址)-->

??<property>

????<name>hive.server2.thrift.bind.host</name>

?????<value>node03</value>

??</property>

???<property>

????<name>hive.support.concurrency</name>

????<value>true</value>

</property>

<property>

????<name>hive.txn.manager</name>

????<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>

</property>

</configuration>

7.在安装目录的lib目录上传一个mysql-connector-java.jar连接驱动

8.配置hive 环境变量 vim /etc/ profile

export HIVE_HOME=/export/servers/apache-hive-3.1.2-bin

export PATH=:$HIVE_HOME/bin:$PATH

9.Hadoop的Hdfs 、yarn 全部启动

10.初始化元数据库mysql,到bin目录下执行 schematool -dbType mysql -initSchema

11.启动 到安装目录bin 目录下 输入hive 回车

至此hive安装完成

敲黑板~ 注意了!注意le!

那些年踩过的坑:

坑点1:

hive版本要对应Hadoop版本(我的Hadoop是3.2.2, hive使用3.1.2)

坑点2:

hadoop和hive的两个guava.jar版本不一致
两个位置分别位于下面两个目录:
-?/usr/local/hive/lib/
- /usr/local/hadoop/share/hadoop/common/lib/

删除低版本的那个,将高版本的复制到低版本目录下

坑点3:

lib目录下要放入的mysql驱动包版本要和mysql版本一致,例如我的是mysql 5.1.7 驱动包要5.x.x

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-29 11:43:03  更:2021-07-29 11:44:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/2 23:14:43-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码