IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> SQL:实现行列转换 -> 正文阅读

[大数据]SQL:实现行列转换

前言

这里我们要讨论的是如何实现把多个字段及其对应的字段,同时转换成两个字段。即如下表所示:
在这里插入图片描述
要做的是把它转换成下列形式:
在这里插入图片描述

实现

这里先直接上代码:

#代码一:
SELECT  SPLIT(code_name,':')[0] AS code,SPLIT(code_name,':')[1] AS name FROM(
SELECT EXPLODE(SPLIT(arr,',')) as code_name FROM(
SELECT 
CONCAT_WS(',',
CONCAT_WS(':',code1,name1),
CONCAT_WS(':',code2,name2),
CONCAT_WS(':',code3,name3)) AS arr
FROM code_name));

#代码二:
# 2.1
create temporary table tmp as SELECT CONCAT_WS(',',CONCAT_WS(':',code1,name1),CONCAT_WS(':',code2,name2),CONCAT_WS(':',code3,name3)) AS arr
FROM code_name;
# 2.2
create temporary table tmp2 as 
SELECT EXPLODE(SPLIT(arr,',')) as codeName FROM tmp; 
#2.3
SELECT  SPLIT(codename,':')[0] AS code,SPLIT(codename,':')[1] AS name FROM tmp2;

首先说明一下,代码一,这种方式在Hive中运行的话会报错;我是在odps中运行成功的。感兴趣的话大家可以在其他数据库试试。下面着重介绍下代码二,这块代码在Hive中可以成功运行。
hive中无法像实现代码一那种嵌套查询的方式(也有可能是我没找到正确的方法),否则会报FAILED: ParseException...这类的错误。为此,我特地创建了两个临时表tmp和tmp2(临时表创建语法:create temporary table tmp as select * from tab),即上述代码中的2.1和2.2。
tmp的结果为:

这里我们把他们合并成了一条数据

1:John,2:Mary,3:Sam

tmp2的结果为:

1列3行的数据

1:John
2:Mary
3:Sam

然后用split()分割成数组,即代码2.3所示:

1       John
2       Mary
3       Sam

补充:

后来又测试了下用侧视图的方式,lateral view + explode,想知道这样会产生什么效果。

select code from tmp2 
lateral view explode(split(codename,':')) c as code;

结果如下:
全部变为同一个字段数据。

1
John
2
Mary
3
Sam
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-15 16:15:11  更:2021-07-15 16:15:38 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/2 23:41:34-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码