[大数据]【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用

需求来源

对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。

问题描述

select
  t.id,
  concat_ws(',', collect_set(t.class))
from
  temp t
group by
  t.id

原始temp数据

期望值

实际结果，class合并后并不是有序

解决方式

collect_set无序集合，改成collect_list或sort_array进行排序。

concat_ws(',', sort_array(collect_set(t.class), false))

sort_array(e: column, asc: boolean)将array中元素排序(自然排序)，默认asc。

结果，class合并后有序

concat_ws(',',collect_list(t.class))

结果，class合并后有序

参考文章

Spark API 全集(2):Spark SQL 函数全集
Hive中concat函数和concat_ws函数的区别
Hive collect_set()排序和concat_ws()的使用