| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 数据治理管理平台有哪些特点 -> 正文阅读 |
|
[大数据]数据治理管理平台有哪些特点 |
现代企业的各项决策和管理都建立在高质量数据的基础之上,而这依赖于数据清洗、数据连通与业务融合等多方面的协同。成熟的数据治理模式和工具能够有效提升数据质量和安全性,确保数据资产的有序存储于共享,为深度推进信息资源整合和对接提供良好基础。现代化的数据治理管理平台,一般具备如下五种关键能力: 1.微服务架构能力 微服务是一种松耦合的架构风格,强调主系统下的各个服务都能进行独立的迭代与部署。每个微服务往往可以集中地关注某一业务领域,而且不用考虑系统内部的兼容问题。微服务的功能原理与现在各个大型软件内独立开发的插件类似,各种类型的数据交换及其处理都是服务的方式存在,互为独立,互不影响且能高效协同。微服务架构下统一的建模工具能够快速生成服务模型(交换、传输、整合、数据质量、共享等),服务松耦合,并且形成满足不同需要的服务组合、可重用;可以调度使用、安全调用,使用方便、安全。同时能有效应对未来可能出现的技术迭代、组件拆卸与重构。 2.不同网段下和系统间的数据交换能力 数据治理强调端到端的数据交换基于统一的数据交换服务。事务处理机制保证了交换的数据一致性,而状态传感器技术有效提升了分布式传输过程中的状态感知能力。配置、部署、运维变得愈发简单。数据传输变得更加通畅,跨系统和网段下都能稳定运行,长时间处理情况下的通讯挂起现象得以杜绝。 3.一体化数据交换和治理能力 数据治理平台需要基于统一工具、架构、运行支撑、元数据管理,从而实现数据采集、交换、加工、共享、治理(含元数据管理、数据模型管理、数据质量、数据图谱、数据安全)等功能。企业内部业务纷繁复杂且变化很快,数据治理平台需能根据业务数据项目的特点对不同的数据功能模块进行组合,形成多种数据服务和治理解决方案。 4.强调交换过程中的数据处理能力 数据治理的数据交换过程强调数据处理能力。数据清洗永远是一个繁琐但又必要的过程,传统的数据清洗往往依赖于人工的ETL工作,写大量的即时SQL语句,但如果通过模式的总结往往可以实现特定清洗逻辑的封装,进而实现交换过程中的数据转换(包括代码的统一、格式转换,数据脱敏处理等)、逻辑判断(包括格式检查、逻辑判断、范围检查、组合检查等)、数据路由等处理。此外,交换过程中还需进行数据质量检查,设置检查规则,并记录数据异常以提供元数据分析。 5.全方位的数据治理支持能力 1)数据模型管理,包括元数据管理、数据建模等。 2)数据质量检查(包括数据比对、数据重复相似检查、常规数据质量检查)、数据质量报告、问题数据处理等。 3)数据资产可视化,包括数据图谱、血缘关系、数据地图等。 4)数据安全管理,包括数据模型授权管理、数据服务授权管理、数据脱敏处理、安全审计等。 数据治理平台是以用户为中心,以元数据为基础,贯穿信息标准、数据采集、数据标准化、数据质量、主数据管理、数据共享等从源端到数据中心,再到应用端的全过程管理,并通过大数据治理,是用户能更便捷、更灵活、更准确地获得大数据资产的能力。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 1:27:15- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |