[大数据]3.Hive基础—Hive 常用交互命令、其他命令操作、Hive 常见属性配置、Hive 数据类型

2.8 Hive 常用交互命令

[xqzhao@hadoop100 hive]$ bin/hive -help
usage: hive
-d,--define <key=value> Variable subsitution to apply to hivecommands. e.g. -d A=B or --define A=B
   --database <databasename> Specify the database to use
-e <quoted-query-string> SQL from command line
-f <filename> SQL from files
-H,--help Print help information
   --hiveconf <property=value> Use value for given property
   --hivevar <key=value> Variable subsitution to apply to hivecommands. e.g. --hivevar A=B
-i <filename> Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the console)

2.8.1 “-e”不进入 hive 的交互窗口执行 sql 语句

[xqzhao@hadoop100 hive]$ bin/hive -e "select id from student;"

2.8.2 “-f”执行脚本中 sql 语句

• (1) 在 /opt/module/hive/下创建 datas 目录并在 datas 目录下创建 hivef.sql 文件

[xqzhao@hadoop100 datas]$ touch hivef.sql

• (2) 文件中写入正确的 sql 语句

select * from student;

• (3) 执行文件中的 sql 语句

[xqzhao@hadoop100 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql

• (4) 执行文件中的 sql 语句并将结果写入文件中

[zqzhao@hadoop100 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql > /opt/module/datas/hive_result.txt

2.9 Hive 其他命令操作

2.9.1 退出 hive 窗口

hive(default)>exit;
hive(default)>quit;

2.9.2 在 hive cli 命令窗口中如何查看 hdfs 文件系统

hive(default)>dfs -ls /;

2.9.3 查看在 hive 中输入的所有历史命令

• (1) 进入到当前用户的根目录 /root 或 /home/xqzhao
• (2) 查看 .hivehistory 文件

[xqzhao@hadoop100 ~]$ cat .hivehistory

2.10 Hive 常见属性配置

2.10.1 Hive 运行日志信息配置

Hive 的 log 默认存放在 /tmp/atguigu/hive.log 目录下（当前用户名下）

修改 hive 的 log 存放日志到 /opt/module/hive/logs

• (1) 修改 /opt/module/hive/conf/hive-log4j2.properties.template 文件名称为hive-log4j2.properties

[xqzhao@hadoop100 conf]$ pwd /opt/module/hive/conf
[xqzhao@hadoop100 conf]$ mv hive-log4j2.properties.template hivelog4j2.properties

• (2) 在 hive-log4j2.properties 文件中修改 log 存放位置

hive.log.dir=/opt/module/hive/logs

2.10.2 打印 当前库 和 表头

在 hive-site.xml 中加入如下两个配置:

<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>

<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>

2.10.3 参数配置方式

2.10.3.1 查看当前所有的配置信息

hive> set;

2.10.3.2 参数的配置三种方式

• (1) 配置文件方式

• 默认配置文件：hive-default.xml
• 用户自定义配置文件：hive-site.xml

---

注意：用户自定义配置会覆盖默认配置。另外，Hive 也会读入 Hadoop 的配置，因为 Hive是作为 Hadoop 的客户端启动的，Hive 的配置会覆盖 Hadoop 的配置。配置文件的设定对本机启动的所有 Hive 进程都有效。

• (2) 命令行参数方式

启动 Hive 时，可以在命令行添加 -hiveconf param=value 来设定参数。
例如：

[atguigu@hadoop103 hive]$ bin/hive -hiveconf mapred.reduce.tasks=10;

注意：仅对本次 hive 启动有效
查看参数设置：

hive (default)> set mapred.reduce.tasks;

• (3) 参数声明方式

可以在 HQL 中使用 SET 关键字设定参数
例如：

hive (default)> set mapred.reduce.tasks=100;

注意：仅对本次 hive 启动有效。
查看参数设置:

hive (default)> set mapred.reduce.tasks;

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数，例如 log4j 相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

第3章 Hive 数据类型

3.1 基本数据类型

• 对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。

3.2 集合数据类型

• Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而 STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

3.2.1 案例实操

• (1) 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格式为

{
	"name": "songsong",
	"friends": ["bingbing" , "lili"] , //列表 Array, 
	"children": { //键值 Map,
		"xiao song": 18 ,
		"xiaoxiao song": 19
	}
	"address": { //结构 Struct,
		"street": "hui long guan",
		"city": "beijing"
	} 
}

• (2) 基于上述数据结构，我们在 Hive 里创建对应的表，并导入数据。

创建本地测试文件 test.txt

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long 
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

注意：MAP，STRUCT 和 ARRAY 里的元素间关系都可以用同一个字符表示，这里用“_”。

• (3) Hive 上创建测试表 test

create table test(
	name string,
	friends array<string>,
	children map<string, int>,
	address struct<street:string, city:string> 
)
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

字段解释：

row format delimited fields terminated by ',' ——列分隔符
collection items terminated by '_' ——MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ':' ——MAP 中的 key 与 value 的分隔符
lines terminated by '\n'; ——行分隔符

• (4) 导入文本数据到测试表

load data local inpath '/opt/module/hive/datas/test.txt' into table test;

• (5) 访问三种集合列里的数据，以下分别是 ARRAY，MAP，STRUCT 的访问方式

hive (default)> select friends[1],children['xiao song'],address.city from 
test
where name="songsong";
OK
_c0 _c1 city
lili 18 beijing
Time taken: 0.076 seconds, Fetched: 1 row(s)

3.3 类型转化

Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换，例如某表达式使用 INT 类型，TINYINT 会自动转换为 INT 类型，但是 Hive 不会进行反向转化，例如，某表达式使用 TINYINT 类型，INT 不会自动转换为 TINYINT 类型，它会返回错误，除非使用 CAST 操作。

3.3.1 隐式类型转换规则

• (1) 任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成INT，INT 可以转换成 BIGINT。
• (2) 所有整数类型、FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。
• (3) TINYINT、SMALLINT、INT 都可以转换为 FLOAT。
• (4) BOOLEAN 类型不可以转换为任何其它的类型。

3.3.2 使用 CAST 操作显示进行数据类型转换

• 例如 CAST('1' AS INT)将把字符串'1'转换成整数 1；如果强制类型转换失败，如执行 CAST('X' AS INT)，表达式返回空值 NULL。

0: jdbc:hive2://hadoop102:10000> select '1'+2, cast('1'as int) + 2;
+------+------+--+
|  _c0 |  _c1 |
+------+------+--+
|  3.0 |    3 |
+------+------+--+

声明：本文是学习时记录的笔记，如有侵权请告知删除！
原视频地址:https://www.bilibili.com/video/BV1EZ4y1G7iL