|
数据倾斜结合篇：
https://www.cnblogs.com/qingyunzong/p/8847597.html
数据倾斜:
现象:当有多个reduce时，其中有大量的数据全部集中到某一个或者几个reduce中时
本质原因:
1)、key分布不均匀
2)、业务数据本身的特性
3)、建表时考虑不周
4)、某些SQL语句本身就有数据倾斜
表现:
任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。
单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。
数据倾斜解决
1) set hive.map.aggr=true map端部分聚合,相当于Combiner
2) set hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡，当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果集合会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作。
3) 把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。
4) map join (小表join大表) 符合条件自动转为map join
set hive.auto.convert.join; 默认为true
5) 小表不小
select * /*+ mapjoin(b)*/ from a join b on a.id=b.id;
6) 桶join
#创建桶表
create table bucket_table (
id int , name string
)
clustered by (id) into 4 buckets;
SMB join (桶join)
A表: 10000条 分4桶
1~2500 1桶
2500~5000 2桶
5000~7500 3桶
7500~10000 4桶
B表: 10000条 分4桶
1~2500 1桶
2500~5000 2桶
5000~7500 3桶w
7500~10000 4桶
注意: B的桶的个数必须与A桶一致,或是A桶的倍数
join查询
10000*10000
2500*10000
|