| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理 -> 正文阅读 |
|
[大数据]Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理 |
一、创建测试表 CREATE TABLE `ittemp`.`zxh_test1` ( `col1` VARCHAR(64) COMMENT '测试字段1', `col2` INT COMMENT '测试字段2', `col3` DECIMAL(16,2) COMMENT '测试字段3' ) stored as parquet PARTITIONED BY (`dt` varchar(8) comment '分区') COMMENT '测试表1'; 二、插入测试数据 insert overwrite `ittemp`.`zxh_test1` partition(dt='20220707') values ('a',1,1.1); 三、spark查询测试 select * from `ittemp`.`zxh_test1`; 四、通过hive新增字段 alter table `ittemp`.`zxh_test1` add columns ( `COL4` VARCHAR(40) comment '测试字段4'); 五、spark查询测试(报hive metastore不一致) select * from `ittemp`.`zxh_test1`; 六、通过hive更新TBLPROPERTIES 1、通过hive执行show create table?`ittemp`.`zxh_test1`查看tblproperties信息 注:一般关注'spark.sql.sources.schema.part.0'参数值,当表字段过多时,可能存在?'spark.sql.sources.schema.part.1'、'spark.sql.sources.schema.part.2'等多个,需要关注涉及更新的字段信息在哪个参数里 2、 更新tblproperties值 alter table `ittemp`.`zxh_test1` set TBLPROPERTIES ( 'spark.sql.sources.schema.part.0'='{"type":"struct","fields":[{"name":"col1","type":"varchar(64)","nullable":true,"metadata":{"comment":"测试字段1"}},{"name":"col2","type":"integer","nullable":true,"metadata":{"comment":"测试字段2"}},{"name":"col3","type":"decimal(16,2)","nullable":true,"metadata":{"comment":"测试字段3"}},{"name":"col4","type":"varchar(40)","nullable":true,"metadata":{"comment":"测试字段4"}},{"name":"dt","type":"varchar(8)","nullable":true,"metadata":{"comment":"分区"}}]}' ); 七、再次通过spark查询,hive metastore不一致告警消失 select * from `ittemp`.`zxh_test1`; |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 13:26:52- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |