IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> HIVE操作 -> 正文阅读

[大数据]HIVE操作

hive表类型

内部表 MANAGER_TABLE

drop:执行drop操作时,会同时删除元数据(mysql)和真是数据文件(hdfs)

建表语句

create table 表名( .. , .. ,)

外部表 EXTERNAL_TABLE

drop:执行drop时,只会删除元数据,保留hdfs上真是数据(外部表更加安全)

建表语句

  1. 先建表再传入数据
create external table zhiyun49.test_wb(id int, name string);
  1. 先有数据再建表
create external table zhiyun49.test_wb(id int, name string)
location '/user/hive/warehouse/zhiyun49.db/test_wb';

分区表

创建表语句

create table IF NOT EXISTS 
	zhiyun49.emp_part(
 		empno int,
		ename string
		)
partitioned by --分区关键字
	(area string)--指定分区字段【分区字段一般在表中不存在】
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

上传数据到分区表

load data local inpath '本地路径' into table 表名 partition(分区字段=分区值);

例:load data local inpath '/home/zhiyun/emp_qingdao.txt'
into table zhiyun49.emp_part partition(area='jinan');

修复分区(给分区添加元数据)

msck repair table zhiyun49.user_trade;

分桶表

直接将一个大文件切分成若干个小文件

1.创建分桶表

create table zhiyun49.stu_buck_test
(id int, name string)
clustered by(id)--根据什么字段做分区
				--id:分桶字段(分桶字段必须在表中存在)
into 2 buckets--分成n个桶(n个小文件)
row format delimited fields terminated by '\t';

2.打开分桶的设置(临时生效)

set hive.enforce.bucketing=true;
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-07-04 22:59:49  更:2022-07-04 23:01:25 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 18:11:13-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码