过去几年，大多数企业选择了Hadoop技术（多数选择CDH）建设大数据平台，但是由于Hadoop的分析性能相比MPP差距很大，OUSHUDB融合了MPP和Hadoop的技术，采用存储与计算分离的架构，是一个很好的补充CDH平台分析性能不足的解决方案。本文对CDH和OUSHUDB的双引擎数仓平台方案进行分析介绍。
CDH平台遇到了三大挑战
- 技术选型的挑战
目前多数客户在建设大数据平台的产品采购或者现有集群扩容时，要求基于国产自主可控的要求； - 平台技术局限性的挑战
? 数据处理性能可以满足大多数业务需求，对于性能要求高的业务需求无法满足；
? 单个集群处理数据能力有限，需要建立多个集群，且集群间无法共享数据，维护工作量巨大
? 实时性要求越来越高 - 升级和维护成本高
在Hadoop两大厂商合并以后推出了CDP的升级产品，但是原来基于CDH的所有应用面临重新开发，所以升级成为鸡肋；如果不升级，无法采用hadoop新功能，如果升级，则使应用开发商再次投入开发成本；
基于上述挑战，如何在保持现有CDH投资的基础上，满足业务部门高性能业务的需求？
在CDH平台基础上，引入OUSHUDB数仓产品，可以很好的解决这个问题。
OUSHUDB介绍
OUSHUDB是偶数科技从2016年开始推出，至今已经发展到4.0版本的分析型数仓解决方案。OUSHUDB不仅具备了MPP强大的计算能力，也支持HDFS的扩展能力，如果你的场景解决分布式查询问题，有实时性要求，OUSHUDB也可以符合期望；OUSHUDB主要有下列技术特点：
? 最新一代云数仓：偶数科技致力于探索并实现新一代数仓解决方案。OushuDB同类代表主流方向的产品有Snowflake、Amazon Redshift，新一代数仓提供云环境下数据仓库高性能、弹性伸缩、按需使用、灵活扩展的解决方案。
? 存储与计算分离：存储与计算分离是新一代数据仓库架构上区别于传统MPP数据库的明显优势，使得计算节点不再依赖单一存储节点运行，实现数仓产品存储模块可插拔，能够对接多种类型存储（如HDFS/S3等）,实现存储与计算集群1对多（1个计算集群可以访问多个存储集群），多对1（多个计算集群共享同一存储集群），可极大的提升平台资源灵活分配、弹性扩展、按需使用的能力，而这些优势特性完美的契合了云平台的使用场景和需求。
? 并行计算性能高：OushuDB在Greenplum的执行器上进行了全新的改造升级，基于最新的AVX SIMD指令集的优化使得新执行器性能比传统MPP数据仓库提升10倍。产品在多表Join查询方面有优化器算法支撑、支持在PB级大数据上实现交互式秒级查询。并且针对SQL请求，可以动态的决定计算所需的并行度以及参与计算的Segment节点。并且全新重构的dispatcher模块解除了Master节点的连接数瓶颈,集群并发度比传统MPP数据库更高。
? 多级资源管理：OushuDB实现多级资源隔离，支持三级资源管理：1）全局资源管理，可以集成YARN，和其他系统共享集群资源；2）内部资源管理，可以支持查询，用户等级别的资源管理；3）操作符级别资源管理：可以针对操作符分配和强制资源使用。并且可以通过DDL方便的定义和修改资源队列，能够细粒度、便捷的对资源进行管理和动态配置。
? 高安全与高稳定：OushuDB提供多种机制保证集群安全和高可用：1）提供身份鉴别和认证、Web访问安全、访问控制、审计安全、密码安全；2）提供基于用户和角色的认证，实现通过角色进行权限管理，对用户进行批量授权管理；3）支持安全协议Kerberos，并通过Kerberos对帐户信息进行安全认证；4）关键组件实现HA，避免单点故障；5）数据层面提供敏感数据加密功能，数据多副本机制、磁盘冗余保护机制，数据备份功能等，全方位保证平台数据和方案安全。
? 弹性及高可扩展：OushuDB具备良好的扩展能力，相比传统MPP数据库可扩展性提升10倍以上，能够扩展至数千节点，可满足数据高增长，业务高增长等长期的使用需求。并且具备灵活的扩展能力，存储和计算节点可独立进行扩展，无需等比例进行扩展。该特性极大的满足了用户精细化投资需求，更加高效和经济。OushuDB提供敏捷扩展能力，完全实现在线秒级无感知进行扩展，保证业务可持续性。
? 企业级管理功能：OushuDB作为新一代高性能数据库，与其周边工具软件配合使用才能完整发挥其便捷易用的能力。基于数据同步软件实现外部数据源的集成，打通上下游数据通道，实现平台跟外部系统的高效数据交互；基于作业调度软件，实现大量作业之间有序运行，实现计算资源的合理分配；基于数据开发软件，实现业务敏捷开发，提供数据可视化建模能力，方便业务人员高效使用数据仓库，敏捷响应业务新需求；基于数据治理软件，实现客户数据资产的管理和数据价值的转化；基于运维管理软件，实现高效的平台运维管理，能够对平台基础服务情况，资源使用状况，系统安全状况进行全方位监控和管理，实现自动化运维，减少IT管理成本。
? 异构兼容能力：OushuDB遵循行业通用标准，产品完全支持标准SQL，事务ACID特性、分区、存储过程等，可以兼容主流数据库的数据格式（如Oracle、DB2、Teradata、GreenPlum等），高效实现基于传统数据仓库上数据和应用的快速完成迁移、并且代码改动很小。OushuDB存储计算分离架构以及可插拔存储框架等特性，使得产品具备良好的兼容适配能力，能够轻松访问主流大数据平台和其他异构存储数据资源，并且能够通过其分布式并行计算引擎，实现跨平台的数据访问融合计算能力，减少IT平台规划建设难度和运维管理压力。并且OushuDB数仓提供灵活的部署能力，可以基于本地廉价硬件环境进行部署，也可以进行公有云和私有云部署，满足用户多样化的场景使用需求。
CDH与OUSHUDB双计算引擎的架构
CDH与OUSHUDB双计算引擎技术优势
一个案例场景
某企业建设了数百个CDH节点的大数据平台，同时另外有MPP平台，在将MPP平台的数据应用向CDH迁移后，原来MPP的数据服务性能在CDH平台上下降了7倍，因此，本文建议的双引擎解决方案可以很好的解决这个性能下降的问题。