| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 数据仓库知识备份 -> 正文阅读 |
|
[大数据]数据仓库知识备份 |
一、什么是数据仓库
?? ?企业的数据处理大致分为两类:一类是操作型处理(联机事务处理 OLTP),它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。另一类是分析型处理(联机分析处理 OLAP),一般针对某些主题的历史数据进行分析,支持管理决策。前者对标数据库,后者对标数据仓库。
?? ?
数据仓库是集成各类型数据的数据集合,对企业各级别的决策提供数据依据。数据仓库的数据反映的是一段相当长时间内历史数据的内容,是不同时点数据快照的集合,以及基于这些快照进行统计、整合、重组的数据。
?? ?数据仓库有以下4个特点:
1)
面向主题:数仓内的信息按主题组织(对照:业务数据库按业务功能组织)
2)
集成:数仓中的信息从各业务系统(+前后端日志、外部获取数据等)抽取加工整理汇总而成
3)
随时间变化:记录从过去某一时点到当前各个阶段的信息(而不仅仅是当前状态)
4)
相对稳定:数仓数据不可更新,数据装入后一般只进行查询操作,没有传统数据库的增删改操作。
二、数据仓库架构三、Hive数据仓库分层
?? ?分层核心目的是
空间换时间、提高数据应用效率。不同公司分层层级有所不同,常规分层大体如下:
?? ?ODS(Operation Data Storage)操作数据存储层:存储从服务器采集的原始日志、解析后的结构化日志。最细粒度明细数据,只存储不清洗,根据业务情况压缩保存几月至几年不等。也被称为原始数据层/临时数据层/DWD(Data Warehouse Detail)细节数据层。
?? ?
EDW(Enterprise Data Warehouse)企业级数据仓库层
:
根据不同主题/业务线对ods层数据进行清洗后存储在不同表中。保留尽可能多的维度,数据粒度和ods相同。也被称为DWB(Data Warehouse Base)基础数据层。
?? ?
ADM(Aggregative Data Model)聚合数据层:
面向主题对edw层数据进行不同粒度聚合,可用于常规数据分析需求。该层可去除不常用维度后按小时粒度聚合,也可关联同步到hive的业务表以获取一些特殊字段。也被称为数据集市层/DM层。
? ??APP(
Application)数据应用
层
:对adm层数据进行高度聚合,以满足不同场景分析需求。
? 参考: 1、数据仓库 2、数据仓库介绍 3、联机分析处理 4、数据仓库ods层是啥意思_数据仓库中的ODS、EDW、和DM层是什么?(系列3)
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 10:28:49- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |