[大数据]国产etl 与 ODI

安可项目（即国产化），我国信息、网安领域,能源行业及企业逐渐发力安可工程。安可工程是指安全可靠的工程,是用国产关键系统、关键软硬件产品及关键应用替代国外信息技术产品。国产化替代势在必行。本文就软件基础系统中间件产品ETL工具简要对比参考。

继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）就Oracle的数据集成类工具。ODI（Oracle Data Integrator）与国产ETL工具灵蜂ETL产品（Beeload&BeeDI）功能相同与不同点 概述如下：

一、ODI?和 灵蜂ETL工具的相同点

1. 两个工具都可以做数据同步工具，实现异构数据库的同步
2. 两个工具都可以实现变化数据捕获
3. 两个工具都Java技术实现
4. 两个工具支持Web Service

二、ODI?和 灵蜂ETL工具的区别

1. ODI的产品架构，太多的功能、性能依赖于数据库?。ODI他的强项应该是和具有强大处理能力来源于数据库结合在一起。（跟随Oracle、SQLserver?区别）。

? ? ? ? ?ODI?是Oracle在2006年收购Sunopsis。

? ? ? ? ? 国产ETL灵蜂ETL产品（Beeload&BeeDI）国产自研究核心独立软件产品原厂始于2004年

? 2.?ODI使用ELT方式在数据整合过程中，它自己本身不执行数据整合的处理，所有的执行都是在 ? ? 现有的信息系统或者数据库中完成，不能出库。如Exadata，Teradata等，

• ? ? 从技术实现讲，ODI属于应用层技术，可以和SOA?实现无缝集成

? ? ? ? ??国产ETL工具灵蜂产品（Beeload&BeeDI）是纯数据库层的应用，相对封闭，但安全、稳定

• ?ODI?一般用于局域网内的数据整个传输，如果网络状况不好的广域网则不太适合数据传输，

? ? ? ? ?国产ETL工具灵蜂产品（Beeload&BeeDI）有非常好的数据传输机制，可以保证数据的传输精准一致性、性能。

• ODI的UI设计最大的缺陷在于页面布局过分拥挤

国产ETL工具灵蜂产品（Beeload&BeeDI） 界面友好，简洁干净，适合国人开发人员和IT维护人员思维习惯

　三、ODI的主要功能特点有：

1. 使用CDC作为变更数据捕获的捕获方式。?
2. 代理支持并行处理和负载均衡。
3. 完善的权限控制、版本管理功能。
4. 支持数据质量检查，清洗和回收脏数据。
5. 支持与JMS消息中间件集成。

? 四、灵蜂ETL工具变化数据捕获的优势

1. 国产ETL工具灵蜂产品（Beeload&BeeDI）针对SQL server,DB2?都可以提供基于日志的CDC , ODI在开放系统上只支持Oracle基于日志的CDC,其他都用trigger。
2. ?国产ETL工具灵蜂产品（Beeload&BeeDI）直接从数据库日志中通过自己专有程序抽取数据， 相对于ODI?对源系统的影响和权限要求很低
3. 国产ETL工具灵蜂产品（Beeload&BeeDI）支持在备份系统上抓取变化数据，对以下数据类型如：LONG , XML , BLOB?提供支持ODI?的CDC?是不支持这些数据类型的
4. 国产ETL工具灵蜂产品（Beeload&BeeDI）有很好的机制来保证传输的交易一致性和断点续传
5. 数据仓库（中心）数据实时供给时ODI需要与OracleGoldGate (数据同步工具)结合使用

• 下面几点是数据集成中经常遇到的场景，也成为了ODI最不适宜的场景。

1. 文件处理

ODI本身并没有针对非结构化和半结构化数据转换为结构化或XML格式的功能,?只能通过编写Java程序，将Excel，PDF，Word转换为txt文档

? ?2. ?业务逻辑复杂，流程环节较多

? ? ? ?ODI无复杂工作流设计

? ?3. ?异构大数据量数据整合

? ? ? ? 如果数据量非常大，一旦遇到输出为文件，异构数据库间的数据整合，那么，ODI的性能就会受到影响

? 4. ?断点续传

? ? ? ?ODI完全不具备

? 5. 不同数据库间元数据转换，元数据交换和血缘分析

? ? ? 如Oracle表结构向Teradata的转换，ODI无法实现批量将Oracle建表DDL语法转换为Teradata建表DDL语法。只能编写程序完成该项工作）ODI无法直接实现列行转换，通过编写存储过程来实现

??6. 数据整合过程中需要数据质量分析

??????? ??ODI未有此功能

? 7.?需要更多的磁盘I/O

对于E-LT架构工具，只能依赖数据库的能力去完成，CPU和I/O都会成为瓶颈。

综上所述：ETL工具直接使用者的开发人员和IT维护人员需要：

1. 产品化的工具通常会提供丰富的，最优性能的内置功能，尽可能少的减少额外程序的编写。
2. 界面简洁，布局合理，在视觉效果上便于理解和使用，在使用上便于操作
3. 性能高效:对产品工具必备刚性需求，工具价值本该在此。
4. 即刻服务:?对工具操作快速上手，是决定项目高效实施直接因素。工欲善其事，必先利其器！

中国自主可控国产化的路径即是历史的必然，也是时代的脉搏。信息产业是巨大市场，每年全球信息计算终端市场规模近2万亿人民币，保卫信息安全刻不容缓，中国发展国产化自主可控堪称波澜壮阔的最伟大历程!