[大数据]hadoop整合hive

• 整合hive前提是，已完成hadoop集群的搭建，详细过程传送到 Hadoop完全分布式搭建
• mysql8已安装好，安装教程传送到 Centos8下安装Mysql8

一、修改hadoop的core-site.xml

就是你这个用户不允许伪装为 anonymous（hive的默认用户，默认配置可以查看）。 修改hadoop的core-site.xml文件增加

<configuration>
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
</configuration>

二、Hive搭建

1、下载hive3

链接：https://pan.baidu.com/s/1geQjiw9HDW938jpEpZ-TpQ
提取码：1234

2、环境变量配置

$ sudo vim /etc/profile
文件尾部增加

#Hive环境变量
export HIVE_HOME=/opt/moudule/hive3
export PATH=$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3、修改配置文件

1）创建配置文件hive-site.xml

vim hive-site.xml

将以下内容加入到hive-site.xml中(xml中不能使用&符号（&替换）)

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;serverTimezone=GMT%2B8&amp;useUnicode=true&amp;characterEncoding=utf-8<</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>   		
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>	

2）将hive-default.xml.template重命名为hive-default.xml

mv hive-default.xml.template hive-default.xml

3) 统一guava.jar版本

比较两个路径下的guava.jar版本，留下高版本的文件，删除低版本文件，被删除的文件用高版本替代。
目录1：

$HADOOP_HOME/share/hadoop/common/lib

目录2：

$HIVE_HOME/lib

4）添加msyql8驱动程序

链接：https://pan.baidu.com/s/1L-tK3kkddfrUq613495WoA
提取码：1234

5）hive初始化

schematool -dbType mysql -initSchema

# 让提示符显示当前库，方便使用
set hive.cli.print.current.db=true;
# 显示查询结果时显示字段名称
set hive.cli.print.header=true;

6）hive运行

hive
show databases;
create database njit;
use njit;
create table student(id int,name varchar(255),age int);
insert into student values(10,"xiaohong",25);

7) 使用hiveserver2来连接hive

在hive-site.xml中添加metastore，hiveserver2属性：

   <!-- 指定存储元数据metastore要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master20:9083</value>
    </property>
    <description>
                此处填写metastore所在地址
    </description>
<!-- 配置和iveserver -->
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>
<property>
    <name>hive.server2.thrift.bind.host</name>
        <value>master20</value>
 </property>

使用hiveserver2连接：

beeline
!connect jdbc:hive2://master20:10000
提示输入密码时，回车即可（我们没有配置用户名密码）

恭喜，hive3环境搭建成功！！！