|
一、数据治理
- 管控域：组织、制度、流程、绩效
- 过程域：分析、设计、实施、评估
- 价值域：数据价值、数据共享、数据变现
- 治理域：标准体系、质量、安全
- 技术域：元数据管理、数据指标管理、主数据管理、数据模型管理、数据质量管理、数据安全管理
二、数据中台
- 数据汇聚：异构数据源、离线同步、实时接入，可视化配置
- 数据开发：离线开发、实时开发、算法开发，智能调度、智能运维、监控告警
- 数据体系：贴源数据（ODS）、统一数仓、标签数据、应用数据
- 数据资产管理：元数据、数据质量、数据血缘、数据安全
- 数据服务体系：服务授权、调用管理、数据集市AIP网关
三、架构
- 数据采集中间件：filebeat、flume、kafka、datax、airflow
- ODS：hadoop、hbase、Tbase、es
- DWD：hive、impala、phoinex、spark
- DWS：flink、spark、es
- ADS：规则引擎、模型管理、业务平台、血缘应用、数据采集，BI分析工具、元数据管理、标签管理(存储介质：hbase、hive、es)
?标签分类：?统计类、规则类、挖掘类、流式计算类、组合类、图类
四、电商应用场景
- 推荐系统：千人千面
- 营销系统：支付信息统计，复购率
- 用户维度：沉默用户、忠诚用户、本周回流用户
- 用户行为：UV，PV，PVUV，PR，跳转率、转出率
五、风控场景
- 反欺诈
- 反漏税（假发票、虚开、假发票机、发票识别）
- 反洗钱
六、云原生弹性服务平台
- kubernetes
- CICD：Tekton
- 私库：harbor
|