IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 华为大数据HCIE数据挖掘--ETL -> 正文阅读

[大数据]华为大数据HCIE数据挖掘--ETL

什么是ETL

在这里插入图片描述
ETL是一个数据管道,负责将分布的、异构的数据(Extract阶段)根据一定的业务规则进行数据清洗、转换、集成(Transform阶段),最终将处理后的数据加载到数据目的地(Load阶段),比如数据仓库。

数据抽取需要注意的点有哪些?

检查数据类型;
确保数据完整;
去除重复数据;
去除脏数据;
确保导出数据属性与源数据一致

数据抽取有哪几种方式

更新抽取
当源系统中有新的数据加入或发生数据更新操作时,系统会发出提醒。这是最简单的一种数据抽取方式。
全量抽取
当数据源中有新的数据加入或发生数据更新操作时,系统不会发出提醒。此时可以采用全量抽取。全量抽取类似于数据迁移或数据复制。它将数据源中的表或视图的数据原封不动的从数据库中抽取出来,并转换成自己的ETL工具可以识别的格式。全量抽取比较简单,一般只在系统初始化时使用,全量一次后,就要每天采用增量抽取。
增量抽取
当数据源中有新的数据加入或发生数据更新操作时,系统不会发出提醒,但可以识别出更新的数据,此时可以采用增量抽取。增量抽取只抽取自上次抽取以来数据库表中新增或者修改的数据。在ETL中,增量抽取使用更加广泛。

数据加载有哪些方式

全量加载 Full Load
全表清空后再进行数据加载。
从技术角度上说,比增量加载简单。一般只需在数据加载之前,清空目标表,再全量导入源表数据即可。但当源数据量较大 、业务实时性较高时,大批量的数据无法在短时间内加载成功,此时需要与增量加载结合使用。
增量加载 Incremental Load
目标表仅更新源表中变化的数据。
增量加载难度在于更新数据的定位,必须设计明确的规则从数据源中抽取信息发生变化的的数据,并将这些变化的数据在完成相应的逻辑转换后更新到数据目的地中。

增量加载具体有哪些形式

系统日志分析方式
触发器方式
时间戳方式
全表比对方式
增量数据直接或转换后加载

加载方式好坏的评判标准有哪些

可按频率准确地捕获业务系统中的变化数据。
尽量降低对业务系统造成的压力,及对现有业务的影响。
能够很好的实现属性映射。
可快速恢复或回滚数据。

相比较ETL,ELT有哪些优点?

简化ETL架构。数据抽取后无需使用单独的转换引擎,数据转换和消耗在同一个地方。
降低抽取的时间和性能开销。在实际应用中,不同的业务对数据要求存在差异,需要对同一组数据做不同的转换操作。ETL需要多次抽取、转换、加载,而ELT能实现一次抽取、加载,多次转换,实现一份数据多次应用,降低时间和资源开销。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-21 20:57:41  更:2022-03-21 20:59:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 6:48:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码