[大数据]用户画像亿级数据表关联

用户画像亿级数据表关联

这个项目的背景其实不是用户画像,但是我们需要和用户画像的表去关联，而且我们的关联逻辑有点复杂，大表需要关联多次，这篇文章需要你了解MR 的底层运行原理，读得懂Hive 的执行计划，以及知道hive 的几种join 。

阅读之前建议你阅读：

1. Hive—进阶—各种join 的执行计划
2. Hive数据的组织管理方式
3. Hive进阶之执行计划

优化之后的执行时间

优化之前的执行时间

而且我们优化之后跑的是2个月的数据量，优化之前跑的是一周的

项目背景

我们做的是一个头部车企的互联网舆情项目，收集了公司内部各个系统的数据和外部互联网上的数据，主要就是用户的评论发帖，整个外部的数据源和内部的数据源加起来

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖

了解本专栏 订阅专栏 解锁全文 超级会员免费看