[大数据]OLTP、OLAP、即席查询(ad hoc query)区别与联系

对于目前来讲，对数据的处理主要集中在两个方面，一种是联机事务处理 OLTP（on-line transaction processing），另一种是联机分析处理 OLAP（On-Line Analytical Processing）。

OLTP：是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，典型的是银行 ATM 存取款,金融证券方面的实时更新等，这些操作都比较简单，主要是对数据库中的数据进行 DML 操作，操作主体一般是产品的用户，并且 OLTP 事务性非常高，一般都是高可用的在线系统，如上述的银行金融方面。

OLAP ：有的时候也叫 DSS 决策支持系统，也就类似于我们说的数据仓库，它使分析人员能够迅速、一致、交互地从数据的各个方面来观察信息，以达到深入理解数据的目的。通过分析 DW 中的数据来得出一些结论性的东西（比如报表），从各方面观察信息，也就是从不同的维度分析数据（站在维度的角度看待事实），因此 OLAP 也称多维分析。

两者的对比如下图所示：

然而对于 即席查询 而言，一般情况下它是与 OLAP 做对比的，这里说明一下在数仓中我们一般都是对数据进行一个批处理（基本上对前一天数据处理），并且是针对固定的数据有一个明确的分析指标的。例如，下图是一张订单表的数据：

何为一个明确的分析指标？按照上述所说的，从维度的角度看待事实（事实指的是度量值，在这张表中为金额），我们可以按照7个维度来度量金额，也即是下表所列出的内容。

通过上面表的展示，也就是从不同的维度来围绕度量值分析

对于数仓的这种分析情况，我们一般都是有固定的套路的，比如说

select area, time from table group by area, time;

这种查询也称作为 固化查询

指对一些固化下来的取数、看数的需求，最终通过数据产品的形式提供给用户，从而提高数据分析和运营的效率，这类需求的 SQL 基本上有固定的模式

然而不幸的事情发生了。平时的工作中，上述的固化查询你搞的好好的，这时候老板突然来了一个需求，但是范围并不属于上述的那种有固定模式的 SQL ，我们把这类需求称为 即席查询 (Ad hoc queries)

即席查询：是指用户根据自己的需求，灵活的选择查询的条件，然后系统能够根据用户的选择，生成返回响应的结果，例如返回用户自定义的统计报表。

即席查询 的特点： 即席查询 与 固化查询 最大的不同是，普通的 固化查询 是定制开发的（即查询语句是预先写好的，不会临时发生变化），而即席查询是由用户自定义查询条件的。随时可以更改。

对于 即席查询 和 OLAP 可以参考下图的关系图

对于 即席查询 和 固化查询 的总结：

即席查询 与 固化查询 从SQL语句上来说，并没有本质的差别。它们之间的差别在于，固化查询在系统设计和实施时是已知的，所有的查询可以在系统实施的过程中，通过建立索引、分区等技术来优化这些查询，使得这些查询的效率很高。而 即席查询 是用户临时生产的需求，无法人工预先地优化这些查询，这类查询一般需要数据库内部实时地自动优化，所以 即席查询 也是评估数据仓库的一个重要指标。在一个数据仓库系统中，即席查询使用的越多，对数据仓库的要求就越高，对数据模型的对称性的要求也越高。

最后为什么不用hive做即席查询?
即席查询目的很明确，就是要快，所提即所得，即提出来这个需求立马要看到结果。数仓传统的hive做即席查询那肯定是不行的，MR跑完数据估计天都黑了。所以也迫使新的框架要研发出来，这里例举出市面上常用的几款即席查询的框架：Druid、Kylin、Presto、Impala、Spark SQL、ClickHouse、Doris 等。

几款框架的对比：

1、Druid：是一个实时处理时序数据的 OLAP 数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间线去路由索引。
2、Kylin：核心是 Cube ，Cube是一种预计算技术，基本思路是预先对数据进行多维索引，分别对不同的维度进行组合，形成可能出现的查询 Cube ，当然，针对无意义的维度组合可以进行剪枝操作。使得数据量变小，查询时只扫描索引而不访问原始数据从而提速。
3、Presto：它没有使用 Mapreduce，大部分场景下比 Hive 快一个数量级，其中的关键是所有的处理都在内存中完成。支持多个数据源。同时针对可以将不同的数据源进行 join 操作。
4、Impala：基于内存计算，速度快，支持的数据源没有 Presto 多。
5、SparkSQL：是 Spark 用来处理结构化数据的一个模块，它提供一个抽象的数据集 DataFrame 和 DataSet，并且是分布式 SQL 的查询引擎。它还可以实现 Hive on Spark ，使用 Spark 引擎读取 Hive 的元数据信息，从而操作 Hive 里的数据。
6、ClickHouse：ClickHouse 不依赖任何第三方组件，采用的是列式存储。支持多个存储的引擎，用户可以根据不同的表来选择不同的存储引擎。同时底层还实现了向量化引擎。
7、Doris ：不依赖任何第三方组件，也是一个列存的数据库。使用 MySQL 协议，兼容 MySQL 语法，使用 MySQL 语法可对 Doris 数据库进行查询。新版本也实现了向量化引擎。

参考：https://blog.csdn.net/likino666/article/details/103165292

参考：https://blog.csdn.net/weixin_44080445/article/details/119171865

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖