[大数据]业务数据采集平台

电商业务简介

电商业务流程

以用户的浏览足迹为例说明

用户点开电商首页开始浏览，通过分类查询或通过全文搜索寻找自己中意的商品 , 将商品添加到购物车后，对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据

订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成

电商的业务流程 : 用户前台浏览商品时的商品详情的管理，用户商品加入购物车进行支付时用户个人中心&支付服务的管理，用户支付完成后订单后台服务的管理

电商常识

SKU和SPU

SKU (Stock Keeping Unit)（库存量基本单位）: 产品统一编号 , 每种产品均对应有唯一的SKU号 , 如 : 一台银色、128G内存的、支持联通网络的iPhoneX

SPU（ Standard Product Unit ）：是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息集合 , 如 : iPhoneX手机

SPU : 一类商品

同一SPU的商品可以共用 :

• 商品图片
• 海报
• 销售属性

平台属性和销售属性

平台属性 :

销售属性 :

电商业务数据

电商系统表结构

中心 :

• 订单表 :
• 用户表 : 用户的详细信息
• SKU商品表 : 商品的详细信息
• 活动表
• 优惠券表

延伸 :

• 优惠券领用表
• 支付流水表 : 该订单的支付详情
• 活动订单表
• 订单详情表 : 订单的商品数量
• 订单状态表
• 商品评论表
• 编码字典表退单表
• SPU商品表

电商业务表 :

后台管理系统 :

活动信息表（activity_info）

活动规则表（activity_rule）

字段名

活动商品关联表（activity_sku）

平台属性表（base_attr_info）

平台属性值表（base_attr_value）

一级分类表（base_category1）

二级分类表（base_category2）

三级分类表（base_category3）

字典表（base_dic）

省份表（base_province）

地区表（base_region）

品牌表（base_trademark）

购物车表（cart_info）

评价表（comment_info）

优惠券信息表（coupon_info）

优惠券优惠范围表（coupon_range）

优惠券领用表（coupon_use）

收藏表（favor_info）

订单明细表（order_detail）

订单明细活动关联表（order_detail_activity）

订单明细优惠券关联表（order_detail_coupon）

订单表(order_info）

退单表（order_refund_info）

订单状态流水表（order_status_log）

支付表（payment_info）

退款表（refund_payment）

SKU平台属性值表（sku_attr_value）

SKU信息表（sku_info）

SKU销售属性表（sku_sale_attr_value）

SPU信息表（spu_info）

SPU销售属性表（spu_sale_attr）

SPU销售属性值表（spu_sale_attr_value）

用户地址表（user_address）

用户信息表（user_info）

模拟生成业务数据

MySQL安装

业务数据生成

在 cpucode101 的 /opt/module/db_log 文件夹

mkdir db_log/

把 gmall2020-mock-db-2021-11-14.jar 和 application.properties 上传到 cpucode101 的 /opt/module/db_log 路径上

根据需求修改 application.properties 相关配置

logging.level.root=info

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://cpucode103:3306/gmall?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=123456

logging.pattern.console=%m%n

mybatis-plus.global-config.db-config.field-strategy=not_null
mybatis.mapperLocations=classpath:mapper/*.xml

#业务日期
mock.date=2020-06-14
#是否重置，首日须设置为1
mock.clear=1
#是否重置用户，首日须设置为1
mock.clear.user=1

#生成新用户数量
mock.user.count=200
#男性比例
mock.user.male-rate=20
#用户数据变化概率
mock.user.update-rate:20

#收藏取消比例
mock.favor.cancel-rate=10
#收藏数量
mock.favor.count=100

#每个用户添加购物车的概率
mock.cart.user-rate=10
#每次每个用户最多添加多少种商品进购物车
mock.cart.max-sku-count=8 
#每个商品最多买几个
mock.cart.max-sku-num=3 

#购物车来源  用户查询，商品推广，智能推荐, 促销活动
mock.cart.source-type-rate=60:20:10:10

#用户下单比例
mock.order.user-rate=30
#用户从购物中购买商品比例
mock.order.sku-rate=50
#是否参加活动
mock.order.join-activity=1
#是否使用购物券
mock.order.use-coupon=1
#购物券领取人数
mock.coupon.user-count=100

#支付比例
mock.payment.rate=70
#支付方式 支付宝：微信 ：银联
mock.payment.payment-type=30:60:10

#评价比例 好：中：差：自动
mock.comment.appraise-rate=30:10:10:50

#退款原因比例：质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
mock.refund.reason-rate=30:10:20:5:15:5:5

logging.level.com.atguigu.gmall2020.mock.db.mapper=debug

生成 2020-06-14 日期数据：

java -jar gmall2020-mock-db-2021-11-14.jar

查看 gmall 数据库，观察是否有 2020-06-14 的数据出现

业务数据梳理工具

业务数据采集模块

业务数据同步概述

数据同步策略概述

每日定时从业务数据库中抽取数据，传输到数据仓库中，之后再对数据进行分析统计

为保证统计结果的正确性，需要保证数据仓库中的数据与业务数据库是同步，离线数仓的计算周期通常为天，所以数据同步周期为天 ( 每天同步一次 )

数据的同步策略 :

• 全量同步
• 增量同步

全量同步 : 每天都将业务数据库中的全部数据同步一份到数据仓库，保证两侧数据同步的最简单的方式

增量同步 : 每天只将业务数据中的新增及变化数据同步到数据仓库。采用每日增量同步的表 ( 首日一次全量同步 )

数据同步策略选择

两种策略对比 :

结论：业务表数据量大，且每天数据变化低 ( 增量同步 ) ，否则 全量同步

各表同步策略：

数据同步工具概述

数据同步工具 :

• 离线、批量同步 : 基于Select查询 , DataX、Sqoop
• 实时流式同步 : 基于数据库数据变更日志 , Maxwell、Canal

全量同步 : DataX

增量同步 : Maxwell

数据同步工具部署

DataX

Maxwell

全量表数据同步

数据通道

全量表数据由DataX从MySQL业务数据库直接同步到HDFS

DataX 配置文件

增量表数据同步

数仓环境准备