[大数据]动态数据仓库简述

目录

1.传统的数据仓库和动态的数据仓库最大的区别？

2.如何基于动态数据仓库的优势，简单设计动态数据仓库。

3.了解元数据对数据仓库的作用。

4.动态数据仓库的概念及特点。

5. 动态数据仓库的体系架构

6.动态数据仓库的应用

前言：

在大数据时代，新的经济竞争环境决定了行业对信息数据掌握情况的高要求。动态数据仓库能够准确地捕获到实时变更的重要数据，将重要实时数据加载到数据仓库中，并将处理后得出的决策结果及时反馈给业务系统，用于企业高层决策。本文主要介绍动态数据仓库的特点并研究其应用。

1.传统的数据仓库和动态的数据仓库最大的区别？

最大区别是：实时性。

动态数据仓库其实是一种全新的理念，技术专家介绍说，动态数据仓库与传统数据仓库的架构和技术是一样的。动态数据仓库不等于实时数据仓库，因为实时不能表示动态数据仓库的含义。　　

第一、动态访问。动态访问是指一线用户可以动态、或者说实时地访问他所需要的信息。传统数据仓库用户只针对高端管理层，一个银行也许是有几十个到几百个用户可以访问。而成千上万的客户经理和客户代表如果要实现同时访问，对传统数据仓库来讲是一个很大的压力。所以动态数据仓库采取相同的技术架构，却使用不同的技术手段，从而实现动态访问。

第二、动态数据加载。传统数据仓库的数据加载与动态数据仓库的数据加载所需的技术设施几乎相同。不同的是传统的数据加载不是实时和连续的，只能是以批量的形式加载。而动态数据仓库的数据加载则能连续加载并实现一分钟或者几秒钟间隔的近实时加载，从而体现动态。

2.如何基于动态数据仓库的优势，简单设计动态数据仓库。

“动态数据仓库”在技术设施上采用得都是已有技术，而实现的难点在于“动态”，即如何实现数据仓库的“动态”特性，这也是部署“动态数据仓库”系统的关键所在。动态数据仓库中包含了传统数据仓库的各种元素，例如元数据管理、数据分发、对外服务、调度管理、代码自动化、数据质量管理等。

　　要实现动态数据仓库中的动态数据加载，有多个实施方案供用户选择。目前，市场中存在多个接近实时的数据同步解决方案。例如，在专有工具方面，可以借助IBMWRSSQL复制和IBM WRS基于Q的复制实现； ETL工具包含InformaticaPowerExchange、IBMDataStage加CDC组件；数据库工具包括，甲骨文数据库的复制技术、DB2基于CD/CCD的SQL复制，以及SQLServer的出版社订阅复制技术；另外，数据捕获器与消息中间件的集成可以提供动态数据仓库的客户化集成解决方案。

3.了解元数据对数据仓库的作用。

（1）描述哪些数据在数据仓库中，帮助决策分析者对数据仓库的内容定位。
（2）定义数据进入数据仓库的方式，作为数据汇总、映射和清洗的指南。
（3）记录业务事件发生而随之进行的数据抽取工作时间安排。
（4）记录并检测系统数据一致性的要求和执行情况。
（5）评估数据质量。

4.动态数据仓库的概念及特点。

动态数据仓库是一个集中的、全面的、集成的、逻辑一致的、易访问的企业级的数据的集合,?

它不仅能像传统数据仓库那样支持OLAP和数据挖掘等应用分析技术，还增加了能实时监测、实时进行数据分析帮助企业决策的功能。动态数据仓库战术性的决策支持与企业事件的自动检测、处理功能，是异于传统数据仓库之处，更明确的说，是对传统数据仓库的补充与扩展。动态数据仓库不同于一项技术，它是一个处理过程，数据仓库中的加载方式也有多种，常见的为传统ETL批量加载、实时加载技术等。

动态数据仓库与传统数据仓库相比，具有数据实时加载、混合工作量、事件检测和处理的特点。

动态数据仓库的信息并不是在企业用户发出请求后才能使用。动态数据仓库可以在事件发生同时，根据最新的数据，同步及时的检测到事务，对数据进行企业战术性的分析与事件的检测处理，将结果自动反馈于用户系统。为了确保决策的有效性与及时性，要求数据必须实时或接近于实时的加载到动态数据仓库中。在满足业务需要的前提下，对“实时”的要求也就应具体情况而定了，所以，此处的“实时”，也并非绝对的“实时”。

混合的工作量数据仓库，与传统数据仓库工作量相比，除了能进行复杂的查询和批量大数据环境下动态数据仓库的应用研究文/杨锐随着大数据时代的到来，动态数据仓库研究已将成为数据研究的一个重要方向。本文阐述了动态数据库的概念和基本理论。本文将重点介绍动态数据仓库的特点，探讨了动态数据仓库的体系架构及其应用场景。摘要的数据加载外，快速并且高效的，满足企业要求的战术性查询、事件检测、处理以及实时加载也是混合工作量数据仓库数据处理的特点。

事件的处理可以分作同步事件处理与异步事件处理。从字面上可以理解，同步处理则为按一定的顺序，依次完成数据处理的任务，其中必须等待上一步完成后，之后的事件才可以被提出处理，强调按顺序执行。异步处理则不一样，其处理过程中每一步都是独立的，不依赖于其他步的调用，所以其基于事件的各应用程序在设计上是松耦合的。

5. 动态数据仓库的体系架构

动态数据仓库的数据集成方式有多种，周期性的ETL方式、直接点滴导入、点滴翻转导入、导入实时数据缓存为常见的数据集成方式。所有数据集成方式都需满足不影响业务系统的事务处理，实时查询，接近零延时的基本准则。

若通过EAI，还可以将企业内的其他系统与动态数据仓库集成一体使用，不仅可以优化企业的业务流程，在实时传递战术性决策时，还能帮助企业的决策与业务流程完整结合，以实现并提高企业的运营自动化。

6.动态数据仓库的应用

动态数据仓库已用于多种工作领域，在帮助企业全面快速的掌握重要信息，提高竞争环境下企业的分析能力方面，动态数据仓库从中发挥着重要作用。

6.1?物流调度

动态数据仓库系统，可以将配送货车的最新请求在最短时间内呈现于车辆调度人员，调度人员根据货车行驶终点站、货物数量等等配送或安排货车送货。这就要求动态数据仓库将最新的数据于几秒内反映给总站，以用于驱动业务决策。同时，为保证货运的正常运行，动态数据仓库系统必须365天，每天24小时实时运作，该动态数据仓库必须100%可用。

6.2?商品库存管理

商品库存决定商家是否需要进存货物。商家可以从前端得到销售的详细数据，根据商品的销售趋势，库存情况，结合同比销售情况，判断是否需要进存货物，货物需要保证在销售完毕前库存得到补充的同时，不能多进货以造成库存积压，达到销售完毕时正好有货物进库的最佳零界状态，保证了资金的灵活性，实现销售商的利益最大化。因此，动态数据仓库必须实时获取最新销售情况的数据并做出及时的处理决策。

6.3?信息通信安全

越来越多的信息欺诈的出现，是目前信息通信安全面临的最大危机。不法分子通过电信行业中的后付费业务，实施欺诈。为了减少此类欺诈行为给用户带来的损失，建立反欺诈安全机制便成了重要任务。动态数据仓库可以根据用户的通话数据，通过实时查看用户产生话费是否大幅增涨，若有该情况发生，通信运营商将对比该用户平均通信时长、信用度、历史话费情况，综合判断是否有欺诈行为发生，以采取对应措施，减少用户损失。

6.4?银行客户管理

在银行业中可以根据用户的存款行为制定个性化的客户关系管理。客户关系管理部门可以寻找有规律的大量存款的客户,?基于这些客户的存款级别和近期消费行为,?为客户提供免费或打折的服务,?来加深、扩展与客户的关系。通过客户的近期的消费行为来拓展同客户的关系,有利于保留客户,?扩大市场份额。