狭义上:数据治理是指对数据质量的管理、专注在数据本身。
广义上:数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。
数据治理定义:数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。
批数据处理:通过数据采集平台任务调度的方式,根据时间戳定时探查委办局前置库数据以及结构化文件的变动,通过数据采集平台的解析,抽取增量数据到数据湖。
流数据处理:通过数据湖内独立部署kafka消息系统,采用委办局推送或自动拉取的方式,接入流数据。
数据抽取过程中进行监测,实施监测目前抽取的状态、抽取进度,断流告警,一致性检测结果等。并通过分布式部署提高数据抽取速度。













喜欢文章可以【转发?评论】,关注公众号 “智慧方案文库“,私信获取解决方案。
本文章引用的资料均通过互联网等公开渠道合法获取,仅作为行业交流和学习使用,并无任何商业目的。其版权归原资料作者或出版社所有,作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权,请立即通知作者删除。
更多方案
【2021】77页数字李生智慧园区解决方案(附下载) 【2021】102页新一代数字化转型信息化总体规划方案(附下载) 【2021】85页5G+物联网智慧校园解决方案(附下载) 【2021】60页智慧城市运营管理平台解决方案V1.0(附下载) 【2021】294页工业互联网基本概念及关键技术(附下载) 【2021】71页智慧园区户外智能化系统解决方案(附下载) 【2021】72页华为电力智能营销解决方案(附下载) 【2021】125页制造业数字化转型解决方案及应用(附下载) 【2021】75页政务服务中心智能化系统 设计方案智慧政务整体解决方案(附下载) 【2021】85页智慧工程安监物联网+云平台解决方案(附下载) 【2021】146页智慧政务大数据可视化平台方案(附下载) 【2021】102页新一代数字化转型信息化总体规划方案(附下载) 【2021】117页产业互联网发展趋势及机会分析(附下载) 【2021】111页精细化工股份公司数据字转型解决方案(附下载) 【2021】91页20210813数字化、智能化车间规划与建设(附下载) 【2021】78页数字孪生+智慧楼宇解决方案(附下载) 【2021】204页数字化转型:集团企业信息化规划方案(附下载) 【2021】105页数字孪生城市信息模型CIM平台建设技术方案(附下载) 【2021】281页数字孪生技术与工程实践(附下载)
|