IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hive基本数据类型、数据库、表及6种数据导入导出命令总结 -> 正文阅读

[大数据]hive基本数据类型、数据库、表及6种数据导入导出命令总结

目录

1、hive基本数据类型

2、数据类型

2.1实例:创建不同数据类型的表

3、数据库和表的操作

3.1、数据库的操作

3.2表的操作

4、导入导出数据操作

(1)本地数据导入hive和hdfs

(2)HDFS目录创建,HDFS导出数据到本地

(3)将HDFS上的指定位置的数据导入到hive

(4)、Import命令将hive导入到指定的hive表中

? (5)、Export命令导出数据到HDFS 上

? (6)、Hive Shell命令导出:


1、hive基本数据类型

2、数据类型

2.1实例:创建不同数据类型的表

create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

字段解释:

row format delimited fields terminated by ','? ? ? ? ? -- 列分隔符

collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)

map keys terminated by ':'

-- MAP 中的 key 与 value 的分隔符

lines terminated by '\n';? ??-- 行分隔符

实例:

首先准备数据:新建测试文件test.txt

加载本地文件数据到hive表

load data local inpath '/usr/local/apache-hive-1.2.1-bin/test.txt' into table test;

查看内容

不同结构访问方式

3、数据库和表的操作

3.1、数据库的操作

hive数据库在HDFS上默认存储路径:/user/hive/warehouse/*.db

use db_hive;                                              --切换数据库;
create database db_hive;                       --创建数据库
create database if not exists db_hive ;        --标准写法:避免数据库已经存在,if not exists用来判断数据库是否存在
show databases like 'db_*';                    --模糊查找数据库
create database db_hive location '/db_hive.db';         --指定数据库在hdfs上的存放路径
show databases like 'db_hive*';                          --模糊查询数据库
desc databases db_hive;                                  --显示数据库信息
desc database extended db_hive;     --显示数据库详细信息(可看到创建时间)
alter database db_hive set dbproperties('createtime'='21823');--通过键值对给数据库设置属性
drop database db_hive;                                  --删除数据库
drop database if exists db_hive4;             --用if exists判断数据库是否存在,才来删除

3.2表的操作

语法:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]
上面术语解释:
if not exists? ?用来忽略数据库已经存在了出现的异常
external? ? ? ? 关键字用来创建外部表,内部表在删除时,元数据和数据会一起被删除,而外部表只删除元数据,不删除数据
comment? ? ? ? ? ? ?为表和列添加注释
partitioned by? ? ? 创建分区表
clustered by? ? ? ? 创建分桶表
sorted by? ? ? ? ? ?不常用,对桶中的一个或多个列另外排序
row format? ? ? ? ? 用来设置列之间的分割符
STORED AS 指定存储文件类型,常用 存储文件类型: SEQUENCEFILE (二进制序列文件)、 TEXTFILE (文本)、 RCFILE (列式存储格式文件)
location? ? ? ? ?指定表在hdfs上的存储位置
as? ? ? ? ? ?后跟查村语句,根据查询结果创建表

实例:

创建一个学生的外部表(去掉external就是内部表),并以性别作为分区,指定存放位置,存储为文本类型

create external table if not exists student(
uid int,name string
)
partitioned by(sex string)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student/';

常用的数据库表命令

--根据查询结果建表
create table if not exists student3 as select id, name from student;

hive (default)> desc formatted student3;      --查询表的类型(外部表还是内部表)
Table Type: MANAGED_TABLE   

hive>alter table student2 set tblproperties('EXTERNAL'='TRUE');   --修改内部表 student2 为外部表,FALSE为内部表
hive>ALTER TABLE table_name RENAME TO new_table_name;            --重命名表
hive (default)> alter table dept add columns(deptdesc string);   --增加列
hive>desc dept;                                   --查询表的结构
hive>alter table dept change column deptdesc desc string;       --列改名,或者更改列类型
hive>alter table student replace columns(id string,name string,loc string) --将括号内的字段替换掉表中的字段
hive>drop table student;    --删除表

将数据插入表中

--insert插入数据:insert into: 已追加数据的模式插入到表或者分区中;insert overwrite : 以覆盖模式插入到表或者分区中
hive> insert into table people values(4,'xiaoli'),(5,'ming');     --基本插入数据(有点慢)
hive> insert overwrite table people select id,name from people;   --根据查询结果来插入数据到hive表中
hive>insert overwrite local derectory '/usr/test/student' select * from studnet; --将查询结果导入到本地
hive(default)>insert into local directory '/student' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select * from student;               --格式化导出到本地

--根据多张表的查询结果插入到不同分区
hive (default)> from student
                insert overwrite table student partition(month='201707')
                select id, name where month='201709'
                insert overwrite table student partition(month='201706')
                select id, name where month='201709';

4、导入导出数据操作

从本地导入到hive或者HDFS,从 hive或者HDFS导入到本地路径 、从HDFS导入到hive,从hive导入导入hdfs
语法:
hive> load data [local] inpath '数据的 path' [overwrite] into table
student [partition (partcol1=val1,…)];

术语解释:

(1)load data:表示加载数据

(2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表

(3)inpath:表示加载数据的路径

(4)overwrite:表示覆盖表中已有数据,否则表示追加

(5)into table:表示加载到哪张表

(6)student:表示具体的表

(7)partition:表示上传到指定分区


(1)本地数据导入hive和hdfs

hive> load data local inpath '/usr/local/people.txt' into table people;
hive> dfs -put /usr/local/people.txt /student;  --把本地文件导入到hdfs

(2)HDFS目录创建,HDFS导出数据到本地

hive>dfs -mkdir /studnet;    --在HDFS上创建目录
hive> dfs -get /user/hive/warehoues/student/student.txt /usr/local/test/student.txt;  --从hdfs上导出到本地

(3)将HDFS上的指定位置的数据导入到hive

hive> load data inpath '/user/hive/people.txt' into table default.people;
--升级:覆盖模式(overwrite)覆盖掉原来的数据
hive> load data inpath '/user/hive/warehouse/people.txt' overwrite into table default.people;

(4)、Import命令将hive导入到指定的hive表中

export和import常用于两个hadoop平台集群之间的hive表迁移

hive (default)> import table student2 from '/user/hive/warehouse/export/student';

? (5)、Export命令导出数据到HDFS 上

export和import常用于两个hadoop平台集群之间的hive表迁移

hive>export table default.student to '/user/hive/warehouse/export/studnet';

? (6)、Hive Shell命令导出:

[用户@root ]#bin/hive -e 'select * from default.studnet;' > /usr/local/test/student.txt;

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-30 12:07:06  更:2021-08-30 12:09:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 16:44:11-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码