IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hive数据仓库分桶表分区未显示分区的数据 -> 正文阅读

[大数据]Hive数据仓库分桶表分区未显示分区的数据

?下面是博主运行成功步骤

创建数据库

create database 数据库名;

?使用数据库

use 数据库名;?


分桶就是MapReduce中的分区

1.开启 Hive 的分桶功能

set hive.enforce.bucketing=true;

2.设置 Reduce 个数

set mapreduce.job.reduces=n;

n:根据题目要求设置个数

?3.创建分桶表

create table 表名?(c_id string,c_name string,t_id string) clustered by(c_id) into n?buckets row format delimited fields terminated by '\t';

//创建一个表以某个字段分为n桶,表的内容以\t分割

?桶表的数据加载,由于通标的数据加载通过hdfs dfs -put文件或者通过load data均不好使,只 能通过insert overwrite 创建普通表,并通过insert overwriter的方式将普通表的数据通过查询的方式加载到桶表当中 去.

4.创建普通表

create table 表名_re?(c_id string,c_name string,t_id string) row format delimited fields terminated by '\t';

?5.普通表中加载数据

方式一: load data local inpath '本地路径(Linux)' into table?表名_re;

方式二: load data inpath ' 集群路径(hdfs)' into table?表名_re;

博主用的第二种方式

6.通过insert overwrite给桶表中加载数据

insert overwrite table 表名 select * from?表名_re cluster by(c_id);

//将查询普通表的结果加载到分桶表

?

?7.在集群上查看结果

在这里我们看一看见1 2 3的size都是45B.证明分区成功

?/use/hive/warehouse数据仓库默认存放位置


?如出现以下错误:

?或者size为0

方法一:

????????暴力解法:

? ? ? ? ? ? ? ? 删除数据库,从创建数据库开始在执行一边

????????drop database 数据库名?cascade;

//强制删除数据库,包含数据库下面的表一起删除

????????drop database 数据库名;

//删除一个空数据库,如果数据库下面有数据表,那么就会报错


方法二:

? ? ? ? 删除普通表,重复4-6操作

drop table 表名;

//删除外部表,数据仓库还会显示原表,删除内部表删除所有

如果有其他错误或者解法欢迎评论

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-01 17:46:35  更:2021-12-01 17:46:37 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 9:01:55-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码