[大数据]Linux下Hive的安装

在安装Hive之前，要求先：

????-?安装JDK?7

????-?安装Hadoop-2.2.0

????-?安装MySQL?5.6.x

1.下载hive压缩包

2.上传到虚拟机

3.解压（并移动到指定位置）

[root@hadoop1 ~]# tar -xzvf apache-hive-2.1.1-bin.tar.gz
[root@hadoop1 ~]# mv apache-hive-2.1.1-bin /export/software/

[root@hadoop1 ~]# tar -zxvf hbase-1.2.4-bin.tar.gz
[root@hadoop1 ~]# mv hbase-1.2.4 /export/software/

4.配置环境变量

[root@hadoop1 ~]# vi /etc/profile


export HIVE_HOME=/export/software/apache-hive-2.1.1-bin   /*与个人电脑上hive实际路径匹配*/
export  PATH=$HIVE_HOME/bin:$PATH

保存并退出VI编辑器。然后执行：

[root@hadoop1 ~]# source /etc/profile    /*使配置生效*/

?5.配置文件管理

首先进入hive下的conf目录把所有带template后缀的文件移除后缀。

示例：$?cp?hive-env.sh.template??hive-env.sh?????/*去掉template后缀*/

[root@hadoop1 ~]# cd /export/software/apache-hive-2.1.1-bin/
[root@hadoop1 apache-hive-2.1.1-bin]# cd conf/
[root@hadoop1 conf]# ls
beeline-log4j2.properties.template    ivysettings.xml
hive-default.xml.template             llap-cli-log4j2.properties.template
hive-env.sh.template                  llap-daemon-log4j2.properties.template
hive-exec-log4j2.properties.template  parquet-logging.properties
hive-log4j2.properties.template
[root@hadoop1 conf]# cp hive-env.sh.template hive-env.sh

????其中hive-default.xml移除后缀后，需要修改名为hive-site.xml。

?????????$mv?hive-default.xml?hive-site.xml???????/*改名*/

[root@hadoop1 conf]# cp hive-default.xml.template hive-default.xml
[root@hadoop1 conf]# mv hive-default.xml hive-site.xml

?A.编辑?hive-env.sh文件

?????????因为Hive使用了?Hadoop,?需要在?hive-env.sh?文件中指定?Hadoop?安装路径：

[root@hadoop1 conf]# vi hive-env.sh


export JAVA_HOME=/export/software/jdk1.8.0_161
export HADOOP_HOME=/export/software/hadoop-2.4.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_HOME=/export/software/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib

B.修改hive-log4j2.properties，配置hive的log

[root@hadoop1 conf]# cp hive-log4j2.properties.template hive-log4j2.properties
[root@hadoop1 conf]# vi hive-log4j2.properties
[root@hadoop1 apache-hive-2.1.1-bin]# mkdir -p /export/software/apache-hive-2.1.1-bin/logs
[root@hadoop1 apache-hive-2.1.1-bin]# ls
bin   examples  jdbc  LICENSE  NOTICE      RELEASE_NOTES.txt
conf  hcatalog  lib   logs     README.txt  scripts
[root@hadoop1 apache-hive-2.1.1-bin]# cd conf/
[root@hadoop1 conf]# ls
beeline-log4j2.properties.template    hive-log4j2.properties.template
hive-default.xml.template             hive-site.xml
hive-env.sh                           ivysettings.xml
hive-env.sh.template                  llap-cli-log4j2.properties.template
hive-exec-log4j2.properties.template  llap-daemon-log4j2.properties.template
hive-log4j2.properties                parquet-logging.properties
[root@hadoop1 conf]# vi hive-log4j2.properties



property.hive.log.dir=/export/software/apache-hive-2.1.1-bin/logs
property.hive.log.file=hive.log

C.修改hive-site.xml?

在/export/software/apache-hive-2.1.1-bin/下新建一个tmp目录，在tmp/下新建一个hduser目录

mkdir?tmp

mkdir?tmp/hduser

将hive-site.xml文件中：

?????????--?凡是${system:java.io.tmpdir}都替换成:/export/software/apache-hive-2.1.1-bin/tmp

?????????--?凡是${system:user.name}都替换为hduser

?

?

?

D.配置Hive?Metastore

?默认情况下,?Hive的元数据保存在了内嵌的derby数据库里,?但一般情况下生产环境使用MySQL来存放Hive元数据。

???????????1)?将?mysql-connector-java-5.1.40.jar?放入?$HIVE_HOME/lib?下。（mysql?jdbc驱动程序）

?2)?hive-site.xml?中配置?MySQL?数据库连接信息：

E.为Hive创建HDFS目录

????1)?必须先安装了Hadoop，并配置了HADOOP_HOME环境变量

????2)在Hive中创建表之前，需要在HDFS上创建目录/tmp/hive和/user/hduser/warehouse，并给它们赋予写权限

在HDFS中将它们设为chmod?777，然后才可以在Hive中创建表:

????????$?$HADOOP_HOME/bin/hadoop?fs?-mkdir?/tmp

????????$?$HADOOP_HOME/bin/hadoop?fs?-mkdir /tmp/hive

????????$?$HADOOP_HOME/bin/hadoop?fs?-mkdir /user/hduser/warehouse

????????//用户组加写权限

????????$?$HADOOP_HOME/bin/hdfs?dfs?-chmod?-R?777???/tmp

????????$?$HADOOP_HOME/bin/hdfs?dfs?-chmod?-R?777???/user/hduser/warehouse

运行Hive?CLI:

??????在命令行运行hive命令时必须保证HDFS已经启动。可以使用start-dfs.sh来启动HDFS。?

??????特别说明：从?Hive?2.1?版本开始,?在第一次运行hive之前，需要先运行schematool命令来执行初始化操作。

????????$?schematool?-initSchema?-dbType?derby

????????//如果是使用MySQL数据库：

[root@hadoop1 bin]# schematool -initSchema -dbType mysql

?报错：

这个错误是因为mysql驱动包版本不够，下载最新的即可

下载地址：https://www.mysql.com/?

?

此处点击第二个Doenload下载

注意使用新的mysql安装驱动后，配置的hive-site.xml 文件下

需要将 com.mysql.jdbc.Driver ?改为? com.mysql.cj.jdbc.Driver

?

下载好后拖到指定路径下即可

?若报错：

which: no hbase in (/export/servers/jdk1.8.0_141/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/export/servers/zookeeper-3.4.5-cdh5.14.0//bin:/export/servers/jdk1.8.0_141/bin:/export/servers/hadoop-2.6.0-cdh5.14.0/bin:/export/servers/hadoop-2.6.0-cdh5.14.0/sbin:/root/bin:/export/servers/jdk1.8.0_141/bin)?
解决：

[root@hadoop1 ~]# vi /etc/profile

export HBASE_HOME =/export/servers/hive-1.1.0-cdh5.14.0
export PATH = $HBASE_HOME/bin:$PATH 

[root@hadoop1 ~]# source /etc/profile

[root@hadoop1 bin]# hive --service metastore

报错：

设置的url没有连接mysql的权限，解决方法如下

在本机先使用root用户登录mysql：

[root@hadoop1 bin]# mysql -u root -p

进行授权操作：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的密码' WITH GRANT OPTION;

报错：

?错误是由于你曾经升级过数据库，升级完后没有使用

mysql_upgrade升级数据结构造成的

解决：

[root@hadoop1 bin]# mysql_upgrade root -p

继续：

?重载授权表：

mysql> FLUSH PRIVILEGES;

退出mysql数据库：

mysql> exit;
Bye

执行成功后，可以查看MySQL中元数据库hive是否已经创建成功。

?//?进入hive命令行：

????????$?$HIVE_HOME/bin/hive

执行成功后，可以查看MySQL中元数据库hive是否已经创建成功。

? ? //?使用?show?tables?来显示所有的表:

????????hive>?show?tables;

????//?退出hive

????hive>?quit;

??