IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hive sql 统计每个pid上一次有交易的日期 -> 正文阅读

[大数据]hive sql 统计每个pid上一次有交易的日期

情景:有交易的日期有记录,无交易的日期无记录
思路:数据表先自连接,再按日期和交易金额筛选数据;新数据表借助窗口函数,对每个pid按照每天之前有交易的日期排序,取最近的一天

set odps.sql.type.system.odps2=true;
DROP TABLE IF EXISTS table1 ;

CREATE TABLE table1 AS
SELECT  t1.partner_id
        ,t1.dt
        ,t1.trd_cnt
        ,t1.trd_amt
        ,t2.dt AS last_trd_date
FROM    what_f t1 INNER
JOIN    what_f t2
ON      t1.partner_id = t2.partner_id
WHERE   
t1.dt>t2.dt
AND    
 t2.trd_cnt > 0
;


CREATE TABLE table2 AS
SELECT  partner_id
        ,dt
        ,trd_amt
        ,trd_cnt
        ,last_trd_date
        ,COALESCE(
            DATEDIFF(TO_DATE(dt,'yyyy-mm-dd'),TO_DATE(last_trd_date,'yyyy-mm-dd'),'dd')
            ,0
        ) AS INTERVAL
        ,(
            28-datediff(to_date('20210515','yyyymmdd'), to_date(dt,'yyyy-mm-dd') , 'dd')
        ) AS dt_index,
        rn
FROM    (
            SELECT  partner_id
                    ,dt
                    ,trd_cnt
                    ,trd_amt
                    ,last_trd_date
                    ,ROW_NUMBER() OVER (PARTITION BY partner_id,dt ORDER BY last_trd_date DESC) AS rn
            FROM    table1
        ) 
WHERE   to_date(dt,'yyyy-mm-dd') BETWEEN to_date('2021-04-18','yyyy-mm-dd')
AND     to_date('2021-05-15','yyyy-mm-dd')
AND     rn = 1
;



  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-10 13:29:13  更:2021-08-10 13:29:59 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 20:15:56-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码