IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> centos7安装配置Hive -> 正文阅读

[大数据]centos7安装配置Hive

rpm -qa | grep -i mysql 查看
rpm -e --nodeps 卸载

1.官网下载安装mysql-server

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server

2.安装成功后重启mysql服务

service mysqld restart

3.启动mysql服务

mysql -u root -p

4.设置密码

set password for ‘root’@‘主机名’ =password(‘新密码’);

5.退户登录

mysql> exit

6.配置mysql

vim /etc/my.cnf

在最后面添加下面内容:

default-character-set =utf8

7.配置mysql远程链接

设置远程访问账号:grant all privileges on . to 远程访问用户名@’%’ identified by ‘用户密码’;

mysql> grant all privileges on *.* to root@'%' identified by '123456';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

8.把cloud01用户主目录下soft文件夹中的apache-hive-2.1.0-bin.tar.gz压缩包,解压缩到用户主目录下,并重命名为hive:

tar -zxvf software/apache-hive-2.3.4-bin.tar.gz
在这里插入图片描述

mv apache-hive-2.3.4-bin hive
在这里插入图片描述

9.设置hive环境变量

vim /etc/profile

在profile尾部添加两行:

export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

10.让配置生效

source /etc/profile

11.配置hive-env.sh

打开hive-env.sh 文件
vim hive-env.sh

在hive-env.sh末尾添加以下四行:

export JAVA_HOME=/opt/jdk
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf

通过设置HIVE_CONF_DIR环境变量来指定Hive配置目录位置

12.配置hive-site.xml

复制一份

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml

打开hive-site.xml 文件
vim hive-site.xml
将文件中的${system:java.io.tmpdir}替换成: /opt/hive/tmp
将文件中的${system:user.name}替换成root
#其中,${system:java.io.tmpdir}有4处,${system:user.name}有2处,可通过gedit的文档搜索功能快速锁定
修改hive.aux.jars.path属性的值为:file:///opt/hive/lib
在这里插入图片描述
修改hive.metastore.warehouse.dir属性的值为:hdfs://localhost:9000/root/warehouse
在这里插入图片描述

cloud01为本机机名

13.继续配置hive-site.xml中的Hive Metastore

把保存在/home/dong/soft/下的驱动程序包 mysql-connector-java-5.1.40.jar 放入 /home/dong/hive/lib 下
cp software/mysql-connector-java-5.1.32-bin.jar hive/lib
在这里插入图片描述

在hive-site.xml 中配置 MySQL 数据库连接信息:

<property>
<name>javax.jdo.option.ConnectionURL</name>   # JDBC连接字符串
<value>jdbc:mysql://cloud01:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8 
(cloud01为本机机名)
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>  # 驱动名称
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>  # 连接身份
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>  # 连接密码
<value>123</value>
</property>

14.配置Log4j日志信息存储

mkdir hive/logs  #创建logs文件夹保存日志
cd  hive/conf  
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
gedit hive /conf/hive-log4j2.properties
在hive-log4j2.properties中,把property.hive.log.dir的值改为:/home/dong/hive/logs,即property.hive.log.dir=/home/dong/hive/logs

15.启动hadoop集群

start-all.sh

16.为Hive创建HDFS目录

hdfs dfs -ls  /
hdfs dfs -mkdir /tmp/hive   #创建hive,如果tmp没有则也需要创建
hdfs dfs -mkdir -p /user/dong/warehouse  #创建/user/dong/warehouse保存hive管理的数据
hdfs dfs -chmod -R 777 /tmp  #添加写权限
hdfs dfs -chmod -R 777 /user/dong/warehouse  #添加写权限

17.初始化操作

source /etc/profile #确保之前的配置生效
schematool -initSchema -dbType mysql #初始化操作(连接mysql创建保存元数据的数据库)
显示以下结果说明初始化成功
在这里插入图片描述
上面结果如果有以下信息出现:
在这里插入图片描述
则执行以下操作,删除冲突的log4j-slf4j-impl-2.4.1.jar
rm -f hive/lib/log4j-slf4j-impl-2.4.1.jar

18.登入mysql 查看初始化结果

mysql -u root -p
show databases;
use hive; 
show tables;

在这里插入图片描述
在这里插入图片描述

19.运行Hive CLI(命令行客户端)

在这里插入图片描述

进入如下的CLI界面
在这里插入图片描述

20.退出hive CLI

>exit;

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-18 17:42:19  更:2022-05-18 17:43:43 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:02:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码