ETL的三大组件
一般来说，ETL分为3大核心组件：
- 输入 - E - extract
- 转换 - T - transform
- 输出 - L - load
输入
输入即ETL工作的源头。
转换
转换一般为ETL的核心，也就是我们从输入读取数据后，经过怎么样的操作，让数据变成我们想要的样子后，在输出。
输出
输出好理解，就是数据处理完毕后，写入到哪里。
根据项目架构图：
我们输入源部分已经准备完成。
现在来尝试构建ETL工具-Glue
Glue 的 执行原理
我们知道，ETL的过程分为：
- 抽取（Input）
- 转换
- 加载（Output）
Glue也是基于这三种过程设计了3种实现，来帮助完成ETL工作
其中，抽取（Input）和加载（Output）被设计为全程都有元数据管理。
如下图：
我们可以看到，Glue有一个元数据目录的组件，这个组件记录一系列元数据。
输入、输出
我们可以将：
- 输入
- 输出
两者的数据结构定义在元数据目录里面，并指明其存储路径。
这里有点像HIVE的外部表的概念。
数据和元数据（Schema）是分离的。
Scheam是在另外的地方（元数据目录）里面单独定义的，并且Schema指向数据具体的路径。
那么，当我们执行ETL任务的抽取和加载（Input、Output）的时候，实际上就是对：
- 元数据目录里的Schema执行查询（Input），然后根据元数据的定义，从数据文件中（S3、RDS）中抽取数据
- 元数据目录里的Schema执行插入、更新（Output），根据元数据的定义，这些操作被真实的作用于了数据之上（S3、RDS）
转换
那么，针对输入和输出，Glue设计了一套元数据理论来统一管理，那针对转换呢？
Glue 在转换这一块提供了Python、Scala两种编程语言的支持。
并且，Glue可以实现：
-
自动构建代码，基于图形化操作完成输入到输出的数据流转（仅做字段映射、改格式等，无复杂转换任务）
-
自动构建的代码支持修改，可以任意添加转换任务在代码内。
-
支持Spark任务，自动构建的代码可以自动完成Spark相关环境的封装
-
[重点]自动构建Spark集群，为ETL JOB提供算力
Glue可以为我们自动构建Spark集群，然后将ETL JOB提交到Spark集群中运行，运行结束后，自动删除Spark集群。
全程无需人工干预，我们甚至无法感知这一操作。