IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hive-2.3.4的安装配置及与hadoop上传脚本使用的简单实验 -> 正文阅读

[大数据]hive-2.3.4的安装配置及与hadoop上传脚本使用的简单实验

所需文件:
Mysql57-community-release-el7-11.noarch.rpm
Mysql-connector-java-5.1.48-bin.jar
apache-hive-2.3.4-bin.tar.gz

下载安装包:
大数据部分组件(
包含Mysql-connector-java-5.1.48-bin.jar
apache-hive-2.3.4-bin.tar.gz

一、Mysql准备工作

0.切换root用户

su root

1.下载MySQL的Yum Repository

wget https://repo.mysql157-community-release-e17-11.noarch.rpm

2.安装MySQL官方的Yum Repository

rpm -ivh mysql57-community-release-el7-11.noarch.rpm

3.查看可安装的MySQL版本

yum repolist all |grep mysql

4.安装Mysql

yum install -y mysql-community-server --nogpgcheck

5.启动mysql

systemctl start mysqld
systemctl status mysqld

在这里插入图片描述

6.修改登录密码

修改密码策略

vim /etc/my.cnf

末尾加两行:

validate_password_policy=Low
validate_password_length=6

在这里插入图片描述

重启mysqld服务

systemctl restart mysqld
grep 'temporary password' /var/log/mysqld.log

使用临时密码登录

mysql -uroot -p

在这里插入图片描述
修改临时密码

set password="123456";

在这里插入图片描述
查询mysql中创建的库

show databases;

在这里插入图片描述

7.在MySQL中创建Hive所需用户和数据库并授权

(1)创建用户hive

create user 'hive' identified by '123456';

(2)创建数据库hive

create database hive;

(3)将数据库hive的所有权限授权于用户hive

Grant all privileges on hive.* to 'hive'@'localhost' identified by '123456';

在这里插入图片描述
使用hive用户登录验证

mysql -uhive -p123456
show databases;

在这里插入图片描述

二、安装hive

0.准备工作

切换到用户账号操作
su 用户名
解压重命名到/usr/local/hive-2.3.4

sudo tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /usr/local/
cd /usr/local
sudo mv apache-hive-2.3.4-bin.tar.gz hive-2.3.4

将mysql的JDBC驱动包复制到Hive安装目录/lib下
解压驱动包(网络下载或者组件下载包

sudo tar -zxvf mysql-connector-java-5.1.48.tar.gz

在这里插入图片描述
将JDBC驱动复制到hive-2.3.4/lib目录下

sudo mv mysql-connector-java-5.1.48/mysql-connector-java-5.1.48.jar /usr/local/hive-2.3.4/lib/

给hive更改用户主

sudo chown -R 用户名:用户组名(用户名) /usr/local/hive-2.3.4/

1.配置hive-env.sh

cp hive-env.sh.template hive-env.sh
vim hive-env.sh

修改hive-env.sh文件内容如下

HADOOP_HOME=/usr/local/hadoop-2.9.2
export HIVE_CONF_DIR=/usr/local/hive-2.3.4/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive-2.3.4/lib

2.创建hive-default.xml但不修改

cp hive-default.xml.template  hive-default.xml

3.修改hive-site.xml

hive-site.xml修改如下

<configuration>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>hive</value>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
    </property>

</configuration>

4.添加hive环境变量

sudo vim /etc/profile.d/hive.sh
export HIVE_HOME=/usr/local/hive-2.3.4
export PATH=$HIVE_HOME/bin:$PATH

加载hive.sh

source /etc/profile

5.初始化Hive Metastore

schematool -initSchema -dbType mysql

在这里插入图片描述

6.验证Hive

启动hadoop集群

start-dfs.sh
start-yarn.sh
jps

进入hive

hive

在这里插入图片描述
在这里插入图片描述
安装完成

三、hive的简单操作

脚本下载地址
进入hive

1.构建数据仓库

create database if not exists car;

2.创建原始数据表

(0)将create_1.sql脚本文件上传到master中
(1)上传脚本文件到hdfs

hdfs dfs -put ./create_1.sql  /cars/
hdfs dfs -ls /cars

(2)进入hive运行脚本

hive
source create_1.sql;
use car;
show tables;

3.加载数据到数据仓库

(1)将cars.txt上传到master中
(2)将cars.txt上传到hdfs中

hdfs dfs -put ./cars.txt /cars/
hdfs dfs -ls /cars

(3)验证数据结果

hive
select * from car.car_2019712 limit 10;

在这里插入图片描述

4.统计乘用车辆和商用车辆的销售数量与汽车销售总数量

(1)统计乘用车辆和商用车辆的销售数量

use car;
select  '非营运',sum(if(a.nature='非营运',a.cnt,0)),'营运',
sum(if(a.nature!='非营运',a.cnt,0))
from (select nature,count(*) as cnt from car_2019712 
group by nature having nature is not null and nature != '') a;

在这里插入图片描述
(2)统计汽车销售总数量

select count(*) from car.car_2019712;

在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-18 17:42:19  更:2022-05-18 17:43:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 23:20:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码