|
hive中的表数据存储类型可以使用parquet，优势在于列式存储方便压缩，加快查询速度，在实际生产环境中，往往不会有字段命名或类型修改的数仓宽表才会使用。
临时或短期需求使用parquet的缺点在于字段类型修改等重刷数据及查询有问题，往往直接使用text格式方便修改。
本文梳理了Hive修改Parquet类型表字段几种问题及其处理方案
建表：
CREATE TABLE `app_test_20221019`(
`group_id` string COMMENT '维度组合id',
`dimension` string COMMENT '维度组合类型',
`uv` bigint COMMENT 'uv')
COMMENT 'parquet测试'
PARTITIONED BY (
`dt` string COMMENT '日期分区')
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
;
当使用parquest格式建表，修改字段名时：
alter table app_test_20221019 change column group_id id string;
修改完成后查询结果只会为null，原因是hive默认的读取parquet文件是按照名称读取的（默认是按序列号读取的）
这个参数的功能是使hive读取parquet文件时使用序列号读取，设置后可以解决null值问题
ALTER TABLE app_test_20221019 SET TBLPROPERTIES ('parquet.column.index.access'='true');
当使用parquest格式，修改字段类型时：
alter table app_test_20221019 change column group_id group_id bigint;
如果只查询历史数据，不重写数据没有问题，但如果重写历史数据后查询报以下错误
Failed with exception java.io.IOException:java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.IntWritable
解决方案：
方案1.删除历史数据并重写，注意先删除路径下的文件，不可以直接overwrite；
方案2.将字段类型改回原类型；
延伸：如果在新的分区中写入新的数据也是可以的，即parquest修改字段类型后如果涉及到重写数据一定要先删除文件再写入。
参考：
1.https://blog.csdn.net/skyupward/article/details/107999323
2.https://blog.csdn.net/Fread325/article/details/126290070
|