重点：ETL架构设计
逻辑架构
ETL整体架构设计
ETL指的是 Extraction, Transformation 与 Loading。
Extraction 指的是如何将数从来源端 (Source System) 中截取出来；
Transformation 指的是在截取出来的数据格式与数据仓储所需要的数据做转换；
Loading 指的是将数据加载至大数据平台中；
ETL服务器的作用有
（1）从源端抽取数据；
（2）加载数据到大数据集群；
（3）向集群下达数据处理的指令；
（4）ETL任务调度；
（5）数据预处理。 部分数据会在ETL服务器上先做预处理
平台整个体系架构分为以下几个层次：
1)源数据层：数据是整个大数据平台架构规划的基础，存储的批量数据包括存储网关委托日志、成交日志、行情数据和持仓数据等。
-
数据采集/接入：大数接平台通过FTP服务采集上游数据接口文件，利用大数据分布式数据库集群数据导入组件装载到大数据平台。
-
数据存储：
