IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hive企业应用—数据仓库架构 -> 正文阅读

[大数据]Hive企业应用—数据仓库架构

1.数据架构

在这里插入图片描述

2.数据仓库建模

目前的构建方法主要有三种:
? 范式建模法
? 维度建模法
? 实体建模法

1.范式建模:主要解决关系型数据库的数据存储

数据库六大范式说明
? 第1范式-1NF:无重复的列、列不可再拆分。
? 第2范式-2NF:属性完全依赖于主键
? 第3范式-3NF:属性不依赖于其它非主属性,即属于依赖于主键不能出现传递依赖。
? 巴斯-科德范式(BCNF),第四范式(4NF),第五范式(5NF,又称完美范式)

2.维度建模法

事实表,维度表来构建数据仓库,最被人广泛知晓的名字就是星型模式(Star-schema)和雪花模式(Snowflake-schema)。

事实表:
发生在某个时间点上的一个事件,即具体的实体内容。
维度表:
从事实表中抽离出来的分析粒度,维度表中包含事实数据表中事实记录的特性。

星型建模法
在这里插入图片描述
雪花建模法
优点是通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。
雪花型结构去除了数据冗余。
在这里插入图片描述

3.数据分析

3.1 函数分类

分析函数

  • ROW_NUMBER:序列分析函数,用于排序,按照顺序,不关心是否有相等情况,从1开始逐条给数据一个加1后的序列号。如1,2,3,4…
  • RANK:序列分析函数,用于排序,按照顺序,关心相等情况,如遇到相等情况,名次会留下空位。如1,2,2,4,4,6…
  • DENSE_RANK:序列分析函数,用于排序,关心相等情况,如遇到相等情况,名次不会留下空位。如1,2,2,3,3,4…

窗口函数

  • LAG:函数LAG(col,n,DEFAULT)用于统计窗口内往上第n行值。
  • LEAD:与LAG作用相反,函数形式如LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值。
  • FIRST_VALUE: 取分组内排序后,截止到当前行,第一个值
  • LAST_VALUE:与FIRST_VALUE相反

over()从句:指定分析窗口函数的细化落围规则

  • 与标准的聚合函数COUNT、SUM、MIN、MAX、AVG联用,如sum(…) over(…)
  • PARTITION BY语句,使用一个或者多个原始数据类型的列
  • PARTITION BY与ORDER BY语句,使用一个或者多个数据类型的分区或者排序列

使用窗口规范窗口规范支持以下格式:

  • ROWSBETWEEN:窗口子句,属于物理截取,即物理窗口,从行数上控制截取数据的大小多少。
  • RANGE BETWEEN:窗口子句,属于逻辑截取,即逻辑窗口,从列值上控制窗口的大小多少。
  • PRECEDING:window子句之往前
  • FOLLOWING:window子句之往后 CURRENT ROW:window子句之当前行
  • UNBOUNDED:window子句之起点,UNBOUNDED PRECEDING 表示从前面的起点,UNBOUNDED
  • FOLLOWING:表示到后面的终点。 注意:order by子句后边如果没有跟着多大窗口,则默认为range between unbounded preceding and current row
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-29 13:06:54  更:2021-10-29 13:07:11 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:19:39-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码