[大数据] hive中的string类型转换成map复杂类型

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> hive中的string类型转换成map复杂类型 -> 正文阅读

[大数据]hive中的string类型转换成map复杂类型

 CREATE TABLE `dwd.dwd_all_devicelocus_new`(
  `projectid` string, 
  `vin` string, 
  `equipmentid` string, 
  `starttime` string, 
  `kmtotal` string, 
  `lat` string, 
  `lon` string, 
  `endtime` string, 
  `e_kmtotal` string, 
  `e_lat` string, 
  `e_lon` string, 
  `data` map<string,string>, 
  `tpdsn` string)
 PARTITIONED BY ( 
  `pdate` string)
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'

当创建表的字段中有map复杂类型的时候，我们在装载数据的时候，如果使用的是下边的这种方式

 load data local inpath "/var/lib/hadoop-hdfs/test/hm.txt"  into table dwd.dwd_all_devicelocus_new PARTITIONED(pdate='20220406')

当查询数据的时候，可能会出现data字段的数据和装载的数据出现一定的差异，如下所示

?为了解决这个问题，我们需要重新建一张新的表，之后通过insert into? select * from 新表的方式，将数据插入到表中

话不多说，上代码

 CREATE TABLE `dwd.dwd_all_devicelocus_new`(
  `projectid` string, 
  `vin` string, 
  `equipmentid` string, 
  `starttime` string, 
  `kmtotal` string, 
  `lat` string, 
  `lon` string, 
  `endtime` string, 
  `e_kmtotal` string, 
  `e_lat` string, 
  `e_lon` string, 
  `data` string, 
  `tpdsn` string)
 PARTITIONED BY ( 
  `pdate` string)
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'

 load data local inpath "/var/lib/hadoop-hdfs/test/hm.txt"  into  table dwd.dwd_all_devicelocus_new PARTITION(pdate='20220406')

注意：这个地方data字段是string类型。

insert overwrite table dwd.dwd_all_devicelocus_new PARTITION(pdate='20220408')
 select 
 `projectid` , 
  `vin` , 
  `equipmentid` , 
  `starttime` , 
  `kmtotal` , 
  `lat` , 
  `lon` , 
  `endtime` , 
  `e_kmtotal` , 
  `e_lat` , 
  `e_lon` , 
  str_to_map(regexp_replace(regexp_replace(regexp_replace(data,'\"',''),'\\{',''),'\\}',''), ',', ':') , 
  `tpdsn`  from dwd.dwd_all_devicelocus_new

利用str_to_map将数据类型进行了转换。

最后查询插入的结果和我们插入的数据是一致的