1 背景

hive 是数据仓库的一种应用工具，将数据写入到hdfs中，为了更方便人员操作，可以通过sql来更简洁的完成任务，不必再编写mapreduce程序。

2 Hive sql 转换逻辑

hive 底层会把sql转换成mapreduce程序进行执行

1 hive的编译器会把sql的语法解析转换成抽象语法树
2 抽象语法树结果复杂，不方便直接翻译为mapreduce程序所以会先转换成查询块
3 把查询块转换成逻辑查询计划，里面包含了逻辑操作符。
4 重写逻辑查询计划，进行优化转换成mapreduce任务。
5 对mapreudce进行优化生成最终的mapreduce任务
6 由hive的驱动模块的执行器对mapreduce进行执行。

3 Hive sql的执行顺序

select ··· from ··· where ··· group by ··· having ···· order by ··

执行顺序
from··· where ··· select ··· group by ··· having ··· order by ···

4 Hive sql 函数

列转行 union 取单列合并，posexplode
排序 row_number() over()
数学函数
集合函数
类型转换函数
日期函数
条件函数
字符串函数
窗口函数
聚合函数
自定义函数
函数查询地址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

5 hive sql 常用调优

列剪裁，分区剪裁：尽量避免使用* 仅拿需要的列尽量使用分区过滤
适情况使用count： count会由一个reduce task 来完成如果量大的话，可能会影响效率尽量使用group by 在进行count
多表关联：避免笛卡尔积，小表在前大表在后，尽早过滤
避免数据倾斜：选择分布均匀的key 避免向某个key倾斜
union all：尽量使用union all union组合后排序去重 union all 直接扫描全表效率高