IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 数据仓库面试问题准备 -> 正文阅读

[大数据]数据仓库面试问题准备

一、如何理解数据体系

包含数据模型、数据分层、数据主题划分、数据治理、元数据管理、数据安全权限、数仓可视化产品的完整数仓服务体系


二、数仓的目标是什么

数据质量和数据服务两个角度

数据质量:有序、有结构地分类组织和存储数据,避免重复建设和数据不一致性,保证数据的规范性

数据服务:提高数据使用体验,包括数据的准确度、数据产品提升数据可视化服务的体感

追问:怎么理解分类组织和存储

分类组织:组织映射到数仓的主题划分(横向)、分层(纵向)

存储:针对生命周期管理、数据治理


三、事实表分几种

  1. 基于分层、以及明细表类型
  • 根据分层,原子指标组成明细事实表DWD,派生指标组成汇总事实表DWS

  • 明细事实表又分为:事务事实表、累积快照事实表、周期快照事实表

  1. 展开说。。。
  • 事务型事实表用来描述业务过程,跟踪空间或者时间上某点的度量时间,保存的是最原子的数据,也可以称作“原子事实表”

  • 周期快照事实表以具有规律性的、可预见的时间间隔记录事实,时间间隔如每天、每月、每年等。

  • 累计快照事实表用来表述过程开始和结束之间的关键步骤时间,覆盖过程的整个生命周期,通常具有多个日期字段来记录关键时间点,当过程随着生命周期不断变化时,记录也会随着过程的变化而被修改。

image.png


四、指标有哪一些内容

  1. 内容:原子指标、派生指标、衍生指标

  2. 关系

  • 派生指标= 原子指标+时间周期+修饰词

  • 派生指标又分为:事务型指标、存量型指标和复合型指标

    • 事务型指标:是指对业务活动进行衡量的指标。例如:新发商品数,订单支付金额。是修饰词+原子指标

    • 存量型指标:是指对实体对象(如商品、会员)某些状态的统计。例如:商品总数是修饰词+原子指标+周期(一般是历史截至至当前某个时间)

    • 复合型指标:在事务型指标和存量型指标的基础上复合而成。

  1. 业务中的关联
  • 原子指标、修饰类型和修饰词,直接归属在业务过程下,其中修饰词继承修饰类型的数据域,例如:A渠道的支付金额,通过支付可以知道是属于支付主域的,渠道是修饰渠道主题域的,可以是跨域的组合
  • 派生指标可以选择多个修饰词,修饰词之间的关系为“或”或者“且”,例如:新客购买电子品类支付金额,修饰词:新客且电子产品
  • 派生指标唯一归属一个原子指标,继承原子指标的数据域,与修饰词的数据域无关。例如:A渠道的支付金额,还是说的是支付金额
  • 一般而言,如果遇到同时有两个行为发生,需要多个修饰词、生成一个派生指标的情况,则选择时间靠后的行为创建原子指标,选择时间靠前的行为创建修饰词,例如:A渠道的支付金额,先经历了渠道后才产生的交易,渠道就发生比较前,后再进行消费产生支付金额,原子指标就比较靠后
  1. 引申整个体系架构
  • 确定企业层级和业务部门的数仓,然后去确认主题域,再去梳理业务过程,基础数据就是原子指标,落到DWD形成明细事实表,加上修饰词变成派生指标,形成轻度DWS汇总事实表,维度会经过维度退化和事实表关联。

五、维度退化到单事务型事实表里面和宽表的区别

前者还是代表是解耦业务过程的事实表,宽表是跨业务过程进行融合的表,强调多个业务流程

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-07-05 23:34:26  更:2022-07-05 23:36:12 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/20 0:01:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码