IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hive的安装与部署 -> 正文阅读

[大数据]hive的安装与部署

一、安装

1.下载hive的包,并上传到虚拟机

rar -xzvf apache-hive-2.1.1-bin.tar.gz		解压
mv 文件 新名		改名

2.设置环境变量

vi /etc/profile		编辑文件

添加HIVE_HOME的相关环境变量

export HIVE_HOME=(hive的路径·)
export PATH= H I V E H O M E / b i n : HIVE_HOME/bin: HIVEH?OME/bin:PATH

source  /etc/profile       /*使配置生效*/

二、配置管理

1.修改文件名

进入hive下的conf目录将带template后缀的文件移除后缀

如	cp hive-env.sh.template  hive-env.sh     /*去掉template后缀*/

其中hive-default.xml去除后缀后,还需要改名为hive-site.xml

mv hive-default.xml hive-site.xml       /*改名*/

2.编辑hive-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_51     //路径必须和本虚拟机的路径相同
	export HADOOP_HOME=/home/hduser/hadoop-2.2.0	//路径必须和本虚拟机的路径相同
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_HOME=/home/hduser/hive-2.1.0	//路径必须和本虚拟机的路径相同
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib

3.修改hive-log4j2.properties,配置hive的log

vi hive-log4j2.properties

如果没有logs目录,在hive根目录下创建它
配置下面的2个参数

 property.hive.log.dir=/home/hduser/hive-2.1.0/logs    (要与自己的路径匹配)
 property.hive.log.file=hive.log

4.修改hive-site.xml

在hive-2.1.0/下创建一个tmp的目录,在tmp/下创建一个hduser目录

mkdir tmp
mkdir tmp/hduser

在hive-site.xml文件中修改如下属性:

<property>
    <name>hive.exec.scratchdir</name>    /系统自动创建目录
    <value>/tmp/hive</value>
	    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.
</description>
</property>
     
 <property>
	    <name>hive.exec.local.scratchdir</name>  /提前建好目录
	    <value>/home/hduser/hive-2.1.0/tmp/hduser</value>    (自己的路径)
	    <description>Local scratch space for Hive jobs</description>
 </property>

<property>
<name>hive.downloaded.resources.dir</name>   /提前建好目录
<value>/user/hive-2.1.0/downloaded</value>	
<description>Temporary local directory for added resources in the remote file system.</description>
</property>

<property>
<name>hive.querylog.location</name>
<value>/home/hduser/hive-2.1.0/tmp/hduser</value>
<description>Location of Hive run time structured log file</description>
</property>  

<property>
<name>hive.aux.jars.path</name>
<value>/home/hduser/hive-2.1.0/lib,/home/hduser/hive-2.1.0/jdbc</value>  
<description>These JAR file are available to all users for all jobs。</description>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>  /系统自动建好的目录
<value>hdfs://(填写自己虚拟机的ip地址):9000/user/hduser/warehouse</value>
</property>

5.配置hive Metastors

(1) 将 mysql-connector-java-5.1.40.jar 放入 $HIVE_HOME/lib 下。(mysql jdbc驱动程序)

(2) hive-site.xml 中配置 MySQL 数据库连接信息:

一样是修改hive-site.xml中的文件

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://cloud01:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value> 修改成自己虚拟机的ip地址
</property>
  
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
</property>
  
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>(虚拟机中mysql的密码)</value>
</property>	 

四、运行

特别说明:从 Hive 2.1 版本开始, 在第一次运行hive之前,需要先运行schematool命令来执行初始化操作。

schematool -initSchema -dbType derby

如果是使用MySQL数据库:

schematool -initSchema -dbType mysql

执行成功后,可以查看MySQL中元数据库hive是否已经创建成功。
进入hive命令行:

HIVE_HOME/bin/hive

启动hive

hive

使用 show tables 来显示所有的表:

hive> show tables;

退出hive

hive> quit;

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-06 21:12:14  更:2021-08-06 21:12:35 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 15:30:43-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码