[大数据]Hive科学技术法转换

一、需求描述

1. 今日下午在对hive库表进行数值统计，发生一件很有意思的一件事，统计求和的结果出现科学技术法。

2. 出现的原因是因为hive sum函数的返回值为double，累加的结果超过了double的范围。
   ·语法: sum(col), sum(DISTINCT col)
   ·返回值: double
   二、解决方案

3. 我这边主要利用的是Hive函数中regexp_extract、regexp_replace以及rpad三个组合完成本次的科学技术法转换操作。

4. 函数语法介绍
   ·函数名称：正则表达式解析函数
   ·语法1：regexp_extract(string subject, string pattern, int index)
   ·返回值：string
   ·函数名称：正则表达式替换函数
   ·语法2：regexp_replace(string A, string B, string C)
   ·返回值：string
   ·函数名称：右补足函数
   ·语法3：rpad(string str, int len, string pad)
   ·返回值：string
   具体Hive SQL片段如下：

rpad(regexp_replace(regexp_extract(sum(in_hive_num), '([^E]+)', 1), '\\.', ''),
cast(regexp_extract(sum(in_hive_num), '(E)([0-9]+)', 2) as int) + 1, '0') as num

完整Hive SQL查询语句如下：

select day_id,
       province_code,
       rpad(regexp_replace(regexp_extract(sum(num), '([^E]+)', 1), '\\.', ''),
            cast(regexp_extract(sum(num), '(E)([0-9]+)', 2) as int) + 1, '0')
from (select day_id,
             hour_id,
             province_code,
             rpad(regexp_replace(regexp_extract(sum(in_hive_num), '([^E]+)', 1), '\\.', ''),
                  cast(regexp_extract(sum(in_hive_num), '(E)([0-9]+)', 2) as int) + 1, '0') as num
      from default.dwm_lbs_fusion_hour_day_num
      where day_id = 20211125
      group by day_id, hour_id, province_code) a
group by day_id, province_code;

替换前，测试案例运行结果如截图所示：

替换后，测试案例运行结果如截图所示：