[大数据] Hive 3.1.2 Parquet 格式表的 rawDataSize 统计信息不正确

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Hive 3.1.2 Parquet 格式表的 rawDataSize 统计信息不正确 -> 正文阅读

[大数据]Hive 3.1.2 Parquet 格式表的 rawDataSize 统计信息不正确

Hive 统计信息的设置和使用，请参考 HIVE Statistics(Hive 统计信息) 的说明和查询优化详解

使用 tpcds-3 数据集进行测试

ORC 格式表的测试

创建 orc 格式的表，设置自动统计统计信息 hive.stats.autogather=true 后，插入数据到 orc 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	3947986476          
	totalSize           	115653306

说明 6 个文件，2160165 行，原始数据量是 3947986476 字节，压缩后占用文件 115653306 字节。

用以下命令可以显示表的文件实际的总大小，可以看到，和 totalSize 对应的值一致。

hadoop fs -du -s ${TABLE_PATH}

Parquet 格式表的测试

创建 parquet 格式的表，设置自动统计统计信息 hive.stats.autogather=true 后，插入同样一份数据到 parquet 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	73445610            
	totalSize           	190743601

可以看到 rawDataSize，少了很多，甚至比 totalSize 都少。