[大数据]HIVE中，order by、sort by、 distribute by， cluster by区别和意义

1. oreder by

? ? ?主要做全局排序

? ? ?只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block，只会启动一个reducer ）。但是对于大量数据这将会消耗很长的时间去执行。

? ? ?这里跟传统的sql还有一点区别：如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数。因为：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数

2、sort by?

每个reduce端都会进行排序，也就是局部有序。并且只使用sort by 的情况下，分区是随机的。

3、distribute by?

指定分区，通常和sort by 一起使用。distribute by 必须写在sort by 前面，可以理解成按照XX分区，按照XX排序。

只按照grade字段排序，但是不指定分区字段：

select * from stu sort by grade;

?先按照class分区，再按照grade排序：

select * from stu distribute by class sort by grade;

4、cluster by?

?当distribute by 和 sort by 所指定的字段相同时，即可以使用cluster by。

注意:cluster by指定的列只能是降序，不能指定asc和desc。

select * from stu distribute by class sort by class;

等价于：

select * from stu cluster by class;

当distribute by 和 sort by 所指定的部分字段相同时

select * from stu distribute by class sort by class,name;

等价于：

select * from stud distribute cluster by class sort by name;

注：被cluster 指定的列只能是降序