[大数据]DataWorks规划工作空间

DataWorks规划工作空间

什么是工作空间

工作空间是DataWorks管理任务、成员，分配角色和权限的基本单元。

工作空间类型

• 简单模式工作空间

  计算引擎实例仅包含一套环境，即开发和生产是同一套环境。

• 标准模式工作空间

  计算引擎包含开发环境和生产环境两套环境。

工作空间规划实践

工作空间规划可按照公司部门、公司业务或数仓层次进行规划，或综合三种维度进行混合规划：

以上三种划分模式可以混合使用，以综合各自优点。一种常用的混合策略是整体按数仓层次划分，但各层内部并非单一工作空间，而是进一步划分为多个工作空间。

• 数据接入层（STG）：按应用系统划分，例如stg_营销系统、stg_生产管理系统等。
  • 任务节点：只有数据集成任务。
  • 数据表：只有原始数据，生命周期短。
  • 空间成员：各应用系统的DBA。
  • 资源倾斜：数据集成资源组、存储空间。
• 数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如ods_人力资源部、ods_生产部等。
  • 任务节点：只有单一输入、单一产出的SQL任务。
  • 数据表：ODS层表。
  • 空间成员：各部门委派的数据清洗人员。
  • 资源倾斜：时间靠前的（例如0点~2点）的调度资源组、引擎计算资源。
• 数仓整合层（DW）：整合为一个统一的工作空间，或按照业务域划分，例如dw_客户域、dw_商品域等。
  • 任务节点：只有多输入、单一产出的SQL任务。
  • 数据表：DW层事实表、维度表。
  • 空间成员：数据公共层专职开发人员。
  • 资源倾斜：中期（例如2点~5点）的调度资源组、引擎计算资源、存储空间（应对数据膨胀）。
• 标签数据层（TDM）：整合为一个统一的工作空间，或按照业务对象划分。
  • 任务节点：只有多输入、单一产出的SQL任务。
  • 数据表：标签表。
  • 空间成员：数据公共层专职开发人员。
  • 资源倾斜：中晚期（例如5点~7点）的调度资源组、引擎计算资源、存储空间（应对数据膨胀）
• 应用数据层（ADS）：按业务划分，针对各专项业务，建立独立工作空间。
  • 任务节点：SQL任务、数据集成任务。
  • 数据表：以满足业务场景为优先。
  • 空间成员：项目组成员。
  • 资源倾斜：晚期（例如7点~9点）的调度资源组、引擎计算资源、数据集成资源组。