IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 【华为数据之道】作用于数据价值流的全链路元数据管理 -> 正文阅读

[大数据]【华为数据之道】作用于数据价值流的全链路元数据管理

摘录&总结于《华为数据之道》——华为公司数据管理部


元数据

Meta Data元数据是描述数据的数据,是数据体系中所是用的物理数据、技术和业务流程、数据规则,以及数据的物理与逻辑结构的信息。

同时,元数据可以被视作一种描述性标签,描述了数据(如数据库、数据仓库、数据模型、数据要素)、相关概念(如业务流程、应用系统、代码、技术架构)以及他们之间的联系。

华为将元数据治理贯穿整个数据价值流,覆盖了数据体系的全生命周期。
数据产生——>数据集成——>数据加工——>数据消费

作为描述数据的数据,元数据在治理、权限控制、影响分析等方面拥有着很大的应用,因此在各个业务线会依赖自建的元数据进行应用探索,在没有集中管控时这会导致元数据以数据烟囱的形式存在,易导致以下问题:

  • 找不到:IT系统多且杂,没有数据集成整合的前瞻工作,导致无数可用
  • 读不懂:业务层和技术层脱离,缺乏可解释性
  • 不可信:元数据分散自建,一数多源,往往同一数据拥有各不相同的版本,不知如何去使用

这三个问题给数字化转型带来了极大的阻碍,其本质原因就是业务元数据&技术元数据的割裂,业务无法理解物理层数据,技术无法了解业务的实际数据需求。两者的协同强依赖于技术的人工翻译,导致协同成本很高,这是元数据管理的最大痛点。

华为依赖公司级的元数据管理机制来解决以上问题,确保『入湖有依据,出湖可检索』

元数据分类

元数据可以分类以下3类:

  • 业务元数据:数据的业务视角描述,包括数据体系、表owner、表字段含义等
  • 技术元数据:数据开发时是用的数据,如ETL规则,集成关系等
  • 操作元数据:数据处理、数据访问、计算调度等日志

元数据可以作用到整个数据价值流上,自上而下为:

  • 数据消费侧、数据服务侧、数据主题侧、数据湖侧、数据源侧

元数据管理

元数据管理架构包括产生元数据、采集元数据、注册元数据和运维元数据。

  • 产生元数据:制定元数据管理相关流程与规范的落地方案,在IT产品开发过程中实现业务元数据与技术元数据的连接。
  • 采集元数据:通过统一的元模型从各类IT系统中自动采集元数据。
    • 元数据来源有:关系数据库、建模工具、数据集成工具、BI报表工具、调度工具、开发语言和脚本等
    • 采集分为3步:选择适配器和元模型、配置数据源、配置采集任务
  • 注册元数据:基于增量与存量两种场景,制定元数据注册方法,完成底座元数据注册工作。
    • 需要有标准的元数据注册规范和统一的元数据注册方法,以实现增量、存量场景下业务元数据与技术元数据的高效连接
    • 注册原则:责任到owner,按需注册,内部公开
    • 注册模式:一对一模式、主从模式、主扩模式、父子模式
  • 运维元数据:打造公司元数据中心,管理元数据产生、采集、注册的全过程,实现元数据运维。
    • 描述元数据的数据,用于对元数据分析,发现数据注册、设计、使用现状&问题,确保完整性和准确性,同时可以反向校验架构设计与落地情况,起到了数据建设的监控作用
  • 元数据管理方案:通过制定元数据标准、规范、平台与管控机制,建立企业级元数据管理体系,并推动其在公司各领域落地,支撑数据底座建设与数字化运营。

总结

数据可用的前提是质量过关,元数据也不例外。这种强管控、全链路、一点采集多方共用的管理方案大大降低了质量保障的落地难度,是十分值得借鉴的。但是实施起来需要自上而下的推动才可以落实,典型的短期协同换长效益。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-30 08:47:05  更:2022-04-30 08:50:32 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:24:46-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码