IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 数据仓库知识备份 -> 正文阅读

[大数据]数据仓库知识备份

一、什么是数据仓库

?? ?企业的数据处理大致分为两类:一类是操作型处理(联机事务处理 OLTP),它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。另一类是分析型处理(联机分析处理 OLAP),一般针对某些主题的历史数据进行分析,支持管理决策。前者对标数据库,后者对标数据仓库。
?? ? 数据仓库是集成各类型数据的数据集合,对企业各级别的决策提供数据依据。数据仓库的数据反映的是一段相当长时间内历史数据的内容,是不同时点数据快照的集合,以及基于这些快照进行统计、整合、重组的数据。
?? ?数据仓库有以下4个特点:
1) 面向主题:数仓内的信息按主题组织(对照:业务数据库按业务功能组织)
2) 集成:数仓中的信息从各业务系统(+前后端日志、外部获取数据等)抽取加工整理汇总而成
3) 随时间变化:记录从过去某一时点到当前各个阶段的信息(而不仅仅是当前状态)
4) 相对稳定:数仓数据不可更新,数据装入后一般只进行查询操作,没有传统数据库的增删改操作。

二、数据仓库架构

三、Hive数据仓库分层

?? ?分层核心目的是 空间换时间、提高数据应用效率。不同公司分层层级有所不同,常规分层大体如下:
?? ?ODS(Operation Data Storage)操作数据存储层:存储从服务器采集的原始日志、解析后的结构化日志。最细粒度明细数据,只存储不清洗,根据业务情况压缩保存几月至几年不等。也被称为原始数据层/临时数据层/DWD(Data Warehouse Detail)细节数据层。
?? ? EDW(Enterprise Data Warehouse)企业级数据仓库层 : 根据不同主题/业务线对ods层数据进行清洗后存储在不同表中。保留尽可能多的维度,数据粒度和ods相同。也被称为DWB(Data Warehouse Base)基础数据层。
?? ? ADM(Aggregative Data Model)聚合数据层: 面向主题对edw层数据进行不同粒度聚合,可用于常规数据分析需求。该层可去除不常用维度后按小时粒度聚合,也可关联同步到hive的业务表以获取一些特殊字段。也被称为数据集市层/DM层。
? ??APP( Application)数据应用 层 :对adm层数据进行高度聚合,以满足不同场景分析需求。

?

参考:

1、数据仓库

2、数据仓库介绍

3、联机分析处理

4、数据仓库ods层是啥意思_数据仓库中的ODS、EDW、和DM层是什么?(系列3)


?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-02-24 15:21:56  更:2022-02-24 15:23:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:28:49-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码