[大数据]大数据领域 数据管理工具 的概念区分

1. 定义

1.1 大数据

虽然大数据这个概念是最近才提出的，但大型数据集的起源却可追溯至 1960 - 70 年代。当时数据世界正处于萌芽阶段，全球第一批数据中心和首个关系数据库便是在那个时代出现的。2005 年左右，人们开始意识到用户在使用 Facebook、YouTube 以及其他在线服务时生成了海量数据。同一年，专为存储和分析大型数据集而开发的开源框架 Hadoop 问世，NoSQL 也在同一时期开始慢慢普及开来。
Hadoop 及后来 Spark 等开源框架的问世对于大数据的发展具有重要意义，正是它们降低了数据存储成本，让大数据更易于使用。在随后的几年中，大数据的数量呈现出爆炸式增长。用户目前仍在持续生成海量数据，但并非只有人类在产生数据。随着物联网 (IoT) 的兴起，如今越来越多的设备接入了互联网，它们大量收集客户的使用模式和产品性能数据，而机器学习的出现也进一步加速了数据量的增长。
大数据的定义：大量（Volume）、高速（Velocity）涌现的多样（Variety）、有价值（Value）、真实（Veracity）的数据。这一定义还表明大数据具有 5V 特性。

1.2 数据仓库

数据仓库（Data warehouse，DW/DWH）是上世纪 90 年代就已经出现的概念，其出现的背景是企业的信息化及伴随着各种信息系统的出现如 CRM、ERP等，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的。
Bill Inmon的定义接受度最广：数据仓库是面向主题的、集成的、反应时间变化的、相对稳定的数据集合，用于支持管理决策。它包括了ETL、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析做基础，其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。目前使用Hive构建数据仓库的比较多。

• 所谓主题：是指用户使用数据仓库进行决策时所关心的重点方面，如：收入、客户、销售渠道等；所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的
• 所谓集成：是指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息
• 所谓随时间变化：是指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测

1.3 数据库

数据库是按照数据结构来组织、存储和管理数据的仓库。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
一般而言，我们所说的数据库指的是数据库管理系统，并不单指一个数据库实例。
根据数据存储的方式不同，可以将数据库分为三类：分别为行存储、列存储、行列混合存储，其中行存储的数据库代表产品有Oracle、MySQL、PostgresSQL等；列存储的数据代表产品有Greenplum、HBASE、Teradata等；行列混合存储的数据库代表产品有TiDB，ADB for Mysql等。

1.4 数据中台

阿里巴巴于2017年云栖大会正式对外提出数据中台概念，数据中台的出现，就是为了弥补数据开发和应用开发之间，由于开发速度不匹配，出现的响应力跟不上的问题。中台不是一个产品，而与业务强相关。广义上来给数据中台一个企业级的定义：“聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念”。

数据中台是指通过企业内外部多源异构的数据采集、治理、建模、分析，应用，使数据对内优化管理提高业务，对外可以数据合作价值释放，成为企业数据资产管理中枢。数据中台建立后，会形成数据API，为企业和客户提供高效各种数据服务。

数据中台整体技术架构上采用云计算架构模式，将数据资源、计算资源、存储资源充分云化，并通过多租户技术进行资源打包整合，并进行开放，为用户提供“一站式”数据服务。
利用大数据技术，对海量数据进行统一采集、计算、存储，并使用统一的数据规范进行管理，将企业内部所有数据统一处理形成标准化数据，挖掘出对企业最有价值的数据，构建企业数据资产库，提供一致的、高可用大 数据服务。
数据中台不是一套软件，也不是一个信息系统，而是一系列数据组件的集合，企业基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义，基于能力定义利用数据组件搭建自己的数据中台。

1.5 数据湖

维基百科对数据湖的定义
数据湖（Data Lake）是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库，通常是对象blob或文件。数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。
目前，Hadoop是最常用的部署数据湖的技术，所以很多人会觉得数据湖就是Hadoop集群。数据湖是一个概念，而Hadoop是用于实现这个概念的技术。

2. 区别与联系

2.1 大数据与数据仓库

大数据是一种技术手段；数据仓库是一个存放数据的集合。大数据会涉及到各种工具，离线计算：Hadoop、Hive…，实时计算：flink,storm,spark,kafka…

1、用途和价值不同
数据仓库相对用途比较单一，主要用于支持管理决策，多服务于各种 BI 报表、仪表盘、自助分析等应用。
大数据用途非常广泛，除了决策支持外，还常见于互联网搜索、市场营销、实时计算、物联网、机器学习等各种新型应用中。

2、处理的数据量与类型不同
数据仓库是小数据时代的产物，且主要用于结构化数据的分析，一般处理的数据量从 GB 至 TB 不等。数据来源包括企业的各种信息化系统，如ERP、CRM、SCM、MES…
大数据是互联网时代的产物，用于海量的各种类型的数据存储、处理与分析，包含结构化、半结构化、非结构化的数据，其处理的数据量一般起始以 TB 为单位，PB 也非常常见。其数据来源非常广泛，包括企业的信息系统、在线网站、物联网设备、网络爬虫、甚至第三方购买数据。

3、技术与产品成熟度不同
数据仓库发展了这么多年，技术与产品相对较为成熟，且有完整的建设方法论。技术上大多以大规模并行处理（MPP）、内存计算、列式存储为核心，产品上以 Teradata, Oracle, Vertica, Greenplum, SAP BW 等为代表。
大数据技术经过10多年的发展，尽管以 Hadoop 为代表的大数据生态圈已经非常繁荣，在技术上拥有出色的可扩展性，包含了丰富的各式数据处理引擎或框架，但相比数据仓库，其技术与产品的成熟度还相对欠缺，企业的大数据平台往往需要大量优秀的大数据人才进行开发和运维。
数据仓库与大数据的区别

大数据技术的发展把数据仓库带入了一个新的发展阶段，新一代的企业数据仓库越来越多的基于大数据技术构建，在向海量、实时、弹性、应用场景丰富等方向发展。在此过程中，涌现了一批优秀的国产大数据开源技术，比如 Apache Kylin, Apache Doris，RocketMQ 等。
一文读懂大数据环境下的数据仓库建设

2.2 数据仓库与数据库

数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP 的区别。
操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。
分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing） 一般针对某些主题的历史数据进行分析，支持管理决策。
数据库的大规模应用，使得信息行业的数据爆炸式的增长，为了研究数据之间的关系，挖掘数据隐藏的价值，人们越来越多的需要使用OLAP来为决策者进行分析，探究一些深层次的关系和信息。但很显然，不同的数据库之间根本做不到数据共享，就算同一家数据库公司，数据库之间的集成也存在非常大的挑战（最主要的问题是庞大的数据如何有效合并、存储）。数据仓库就是为了解决数据库不能解决的问题而提出的，旨在进一步挖掘数据资源、为了决策需要而产生的，它绝不是所谓的“大型数据库”。

数据仓库的出现，并不是要取代数据库。

• 数据库是面向事务的设计，数据仓库是面向主题设计的
• 数据库一般存储业务数据，数据仓库存储的一般是历史数据
• 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的User表，记录用 户名、密码等简单数据即可，符合业务应用，但是不符合分析。数据仓库在设计是有意引入冗余， 依照分析需求，分析维度、分析指标进行设计
• 数据库是为捕获数据而设计，数据仓库是为分析数据而设计

参考链接：数据仓库与数据库的来龙去脉
参考链接：数据仓库与数据库的区别
参考链接：数据仓库与数据库的区别

2.3 数据仓库与数据集市

什么是数据集市？
数据集市（Data Mart），也叫数据市场，就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。
从范围上来说，数据集市的数据是从数据库，或者是更加专业的数据仓库中抽取出来的。数据集市分为从属的数据集市与独立的数据集市：
独立型数据集市的数据来自于操作型数据库，是为了满足特殊用户而建立的一种分析型环境。这种数据集市的开发周期一般较短，具有灵活性，但是因为脱离了数据仓库，独立建立的数据集市可能会导致信息孤岛的存在，不能以全局的视角去分析数据。
从属型数据集市的数据来自于企业的数据仓库，这样会导致开发周期的延长，但是从属型数据集市在体系结构上比独立型数据集市更稳定，可以提高数据分析的质量，保证数据的一致性。

2.4 数据仓库与数据中台

数据仓库与数据中台的区别与联系

2.5 数据仓库与数据湖

Pentaho的CTO James Dixon 在2011年提出了“Data Lake”的概念。在面对大数据挑战时，他声称：不要想着数据的“仓库”概念，想想数据 的“湖”概念。数据“仓库”概念和数据湖概念的重大区别是：数据仓库中数据在进入仓库之前需要是事先归类，以便于未来的分析。这在OLAP时代很常见，但是对于离线分析却没有任何意义，不如把大量的原始数据保存下来，而现在廉价的存储提供了这个可能。
数据仓库是高度结构化的架构，数据在转换之前是无法加载到数据仓库的，用户可以直接获得分析数据。数据湖中，数据直接加载到数据湖中，然后根据分析的需要再转换数据。

参考链接：数据库、数据仓库、大数据平台、数据中台、数据湖对比分析
参考链接：数据仓库、数据湖、数据中台终于有人说清楚了，建议收藏

2.6 数据中台与数据湖

目前，Hadoop是最常用的部署数据湖的技术，所以很多人会觉得数据湖就是Hadoop集群。数据湖是一个概念，而Hadoop是用于实现这个概念的技术。

数据中台整体技术架构上采用云计算架构模式，将数据资源、计算资源、存储资源充分云化，并通过多租户技术进行资源打包整合，并进行开放，为用户提供“一站式”数据服务。
参考链接：数据湖、数据中台概念

数据湖是将复杂的事物具象化，反映了它在大数据存储和大数据处理方面的优势和能力。数据湖作为一个集中的存储库，可以在其中存储任何形式（结构化和非结构化）、任意规模的数据。在数据湖中，可以不对存储的数据进行结构化，只有在使用数据的时候，再利用数据湖强大的大数据查询、处理、分析等组件对数据进行处理和应用。因此，数据湖具备运行不同类型数据分析的能力。

中台概念的鼻祖——阿里巴巴的数据产品部总经理朋新宇表示：数据中台是数据+技术+产品+组织的组合，是企业开展新型运营的一个中枢系统。具体的说，它是一套解决方案，抽象的理解，它是一种新的公司运营理念。
数据中台从技术层面承接了数据湖的技术，通过数据技术，对海量、多源、多样的数据进行采集、处理、存储、计算，同时统一标准和口径，把数据统一后，以标准形式存储，形成大数据资产层，以满足前台数据分析和应用的需求。数据中台更强调应用，离业务更近，更强调服务于前台的能力，实现逻辑、算法、标签、模型、数据资产的沉淀和复用，能更快速的满足业务和应用开发的需求。
参考链接：浅析数据湖和数据中台的关系

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖