[大数据]spark-sql优化，隐式转换造成join倾斜

简化的优化前sql示例：

select ***
from a
left join b 
    on a.orderid=b.orderid
left join c
    on a.orderid=c.orderid
left join d
    on a.orderid=d.orderid
;

优化前日志记录：运行时长2-3h。
InsertIntoHiveTable: Partition `dw**`.`edw_**_detail` {d=2021-08-19} stats: [numFiles=5, numRows=46683063, totalSize=5362348737

描述：

都是大表join大表，其中a.orderid是string类型(含字母和数字），其余表orderid都是bigint类型，且每个表中orderid没有null值。

查看日志，发现a.orderid由string隐式转换成double后再和其他表进行join。此步很关键，因a.orderid含近2千万的第三方订单id是string类型，隐式转换成double类型时，此类a.orderid均变成null，导致存在倾斜joinkey的null值近2千万。

?优化思路：因特殊化的业务逻辑，即a.orderid含字符的部分订单仅取a表字段，bcd表字段不要，那么仅对a.orderid是bigint型的数据进行join即可（如若遇到字符型a.orderid同时保留bcd表字段，可以拆分使用unionall），优化代码如下：

?select 
    a.***
    ,b.***
    ...
from(
    select 
    a.***
    ,nvl(cast (a.orderid as bigint),rand()) orderid_join -- 此步将orderid的null-key打散分发
    from a
)a
left join b 
    on a.orderid_join=b.orderid
left join c
    on a.orderid_join=c.orderid
left join d
    on a.orderid_join=d.orderid
;

优化后，降至40min。

数据类型转换https://help.aliyun.com/document_detail/57792.html