|
由于CSDN上传md文件总是会使图片失效
完整的实验文档地址如下：
https://download.csdn.net/download/qq_36428822/85709631?spm=1001.2014.3001.5501
“大数据技术原理与应用”课程实验报告
题目：实验六：熟悉Hive的基本操作 姓名：小猪猪 日期：2022/5/15
1、实验环境：
设备名称 LAPTOP-9KJS8HO6
处理器 Intel? Core? i5-10300H CPU @ 2.50GHz 2.50 GHz
机带 RAM 16.0 GB (15.8 GB 可用)
主机操作系统 Windows 10 家庭中文版
虚拟机操作系统 ubuntukylin-16.04
Hadoop 版本 3.1.3
JDK 版本 1.8
Java IDE：Eclipse
系统类型 64 位操作系统, 基于 x64 的处理器
笔和触控 没有可用于此显示器的笔或触控输入
2、实验内容与完成情况：
1.创建一个内部表 stocks，字段分隔符为英文逗号，表结构如下所示：
stocks 表结构：
col_name data_type
exchange String
symbol String
Ymd String
Price_open Float
Price_high Float
Price_low Float
Price_close Float
Volume Int
Price_adj_close float
Shell命令：
1. create table if not exists stocks
2. (
3. `exchange` string,
4. `symbol` string,
5. `ymd` string,
6. `price_open` float,
7. `price_high` float,
8. `price_low` float,
9. `price_close` float,
10. `volume` int,
11. `price_adj_close` float
12. )
13. row format delimited fields terminated by ',';
图1. 创建一个内部表 stocks
2.创建一个外部分区表 dividends（分区字段为 exchange 和 symbol），字段分隔符为英文逗号，表结构如下所示：
dividends 表结构
col_name data_type
ymd String
dividend Float
exange String
symbol string
Shell命令：
1. create external table if not exists dividends
2. (
3. `ymd` string,
4. `dividend` float
5. )
6. partitioned by(`exchange` string ,`symbol` string)
7. row format delimited fields terminated by ',';
图2. 创建一个外部表 dividends
3.从 stocks.csv 文件向 stocks 表中导入数据：
Shell命令：
load data local inpath ‘/usr/local/hive/stocks.csv’ overwrite into table stocks;
4.创建一个未分区的外部表 dividends_unpartitioned，并从 dividends.csv 向其中导入数据，表结构如下所示：
dividends_unpartitioned 表结构
col_name data_type
ymd String
dividend Float
exange String
symbol string
Shell命令：
1. create external table if not exists dividends_unpartitioned
2. (
3. `exchange` string ,
4. `symbol` string,
5. `ymd` string,
6. `dividend` float
7. )
8. row format delimited fields terminated by ',';
load data local inpath '/usr/local/hive/dividends.csv' overwrite into table dividends_unpartitioned;
图3. 创建一个未分区的外部表 dividends_unpartitioned并导入数据
5.通过对 dividends_unpartitioned 的查询语句，利用 Hive 自动分区特性向分区表 dividends 各个分区中插入对应数据。
Shell命令：
1. set hive.exec.dynamic.partition=true;
2. set hive.exec.dynamic.partition.mode=nonstrict;
3. set hive.exec.max.dynamic.partitions.pernode=1000;
4. insert overwrite table dividends partition(`exchange`,`symbol`) select `ymd`,`dividend`,`exchange`,`symbol` from dividends_unpartitioned;
图4. 向分区表 dividends 各个分区中插入对应数据
6.查询IBM公司（symbol = IBM）从 2000 年起所有支付股息的交易日（dividends 表中有对应记录）的收盘价（price_close）。
Shell命令：
1. select s.ymd,s.symbol,s.price_close
2. from stocks s
3. LEFT SEMI JOIN
4. dividends d
5. ON s.ymd=d.ymd and s.symbol=d.symbol
6. where s.symbol='IBM' and year(ymd)>=2000;
图5. 查询IBM公司收盘价
7.查询苹果公司（symbol = AAPL）2008 年 10 月每个交易日的涨跌情况，涨显示 rise，跌显示 fall，不变显示 unchange。
Shell命令：
1. select ymd,
2. case
3. when price_close-price_open>0 then 'rise'
4. when price_close-price_open<0 then 'fall'
5. else 'unchanged'
6. end as situation
7. from stocks
8. where symbol='AAPL' and substring(ymd,0,7)='2008-10';
图6. 查询苹果公司涨跌情况
8.查询 stocks 表中收盘价（price_close）比开盘价（price_open）高得最多的那条记录的交易所（exchange）、股票代码（symbol）、日期（ymd）、收盘价、开盘价及二者差价。
Shell命令：
1. select `exchange`,`symbol`,`ymd`,price_close,price_open,price_close-price_open as `diff`
2. from
3. (
4. select *
5. from stocks
6. order by price_close-price_open desc
7. limit 1
8. )t;
图7. 查询 stocks 表中收盘价（price_close）比开盘价（price_open）高得最多的那条记录
9.从 stocks 表中查询苹果公司（symbol=AAPL）年平均调整后收盘价（price_adj_close）大于 50 美元的年份及年平均调整后收盘价。
Shell命令：
1. select
2. year(ymd) as `year`,
3. avg(price_adj_close) as avg_price from stocks
4. where `exchange`='NASDAQ' and symbol='AAPL'
5. group by year(ymd)
6. having avg_price > 50;
图8. 查询平均调整后收盘价
10.查询每年年平均调整后收盘价（price_adj_close）前三名的公司的股票代码及年平均调整后收盘价。
Shell命令：
1. select t2.`year`,symbol,t2.avg_price
2. from
3. (
4. select
5. *,row_number() over(partition by t1.`year` order by t1.avg_price desc) as `rank`
6. from
7. (
8. select
9. year(ymd) as `year`,
10. symbol,
11. avg(price_adj_close) as avg_price
12. from stocks
13. group by year(ymd),symbol
14. )t1
15. )t2
16. where t2.`rank`<=3;
图9. 查询收盘价前三名股票公司的年平均收盘价
3、出现的问题：
1、HIVE SLF4J: Class path contains multiple SLF4J bindings. 启动Hive时报错
图10. 启动Hive时报错
2、在hive-3.1.x版本中，使用hive shell时，会发现在查询命令中夹杂大量的日志信息，严重干扰查询结果显示，特别是强迫症患者，不能忍受。通过修改conf下的日志文件，会发现不起任何作用。
图11. 使用hive时产生大量日志信息
3、一开始启动hive1.2.1时，报错提示hadoop的版本无法识别
图12. 启动hive时提示hadoop版本无法识别
4、启动hive3.1.2时，报错Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditio
图13. 启动hive3.1.2时提示异常
4、解决方案：
1、hadoop和hive的jar包重复了，删除其中一个jar包即可。
2、
解决方法：
1.在 Hive 安装目录的 conf 目录下创建出 log4j.properties 日志配置文件，以WARN 级别为例：
2.添加如下内容：
log4j.rootLogger=WARN, CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n
重启hive，世界清净了。
3、我使用的时hadoop3.1.3，而第一次安装的hive是1.2.1，其中有的jar包版本不匹配，最好的办法是安装更新的hive版本，我重装了hive3.1.2，问题解决了。
4、
考虑到此包是guava组件提供，猜测可能是HIVE和HADOOP内置的jar包版本不一致导致，文件包如下：
hive/lib:guava-19.0.jar
hadoop/lib:guava-27.0-jre.jar，此jar包的位置在share/hadoop/common/lib下面
我们删除掉旧版本的19，将新版本拷贝进去，再次运行bin/hive，问题得以解决
|