讲的好不好不知道，尽最大努力去讲
数据的同步
????????上篇讲过使用Sqoop将Mysql和Hdfs的数据进行互导。
????????本篇是离线数仓的第二篇。讲的是业务数据的处理。
????????离线数仓基本业务数据都存储在Mysql中，然后再将Mysql中的数据通过Sqoop进行数据传输到Hdfs上面。
????????在Hive里面创建相应的表，加载对应目录的数据到Hive表中。
????????这仅仅只是ODS层的操作。
????????ODS层的数据基本上都是源数据，没有经过修改和筛选的，是最接近业务的数据。关于ODS层的细讲，明天会写一篇博客讲讲ODS层。绝不摆烂，一定写。
数据同步的引发的不同操作
????????数据同步的关键就是在于，每个表的数据的属性不同。每个表是不一样的。
????????首先，所谓的电商项目，将业务存储在Mysql表中，但是Mysql中存储的表，并不是一张表，因为一张表无法将电商的全部表示出来。
????????举个例子。
????????SPU，商品聚合的最小单位，一个IPhone手机就是一个SPU
????????SKU,一个银色的，256G内存的Iphone手机就是SKU.
????????拿苹果手机来讲，如果以苹果手机设计电商表，一张表是不够。
????????首先，苹果手机会在商品表里面，商品表记载了各个手机的信息。也就是SKU。
?
????????上图就是一个简单的例子，一个苹果手机，后面会有各种型号。厂家，出厂时间。这些是苹果手机的属性，存储在商品信息表里面。
????????手机又不止一个苹果手机，还有其它种类的手机，因此苹果手机还会存在于品牌表里面。
????????电商，电商，每购买一部苹果手机，也就是所谓的下单，就会在订单表中出现。
????????如果苹果手机参与????????了618折扣，那么苹果手机还会出现在活动信息表里面
????????用户领了优惠券，那么用户最终购买的苹果手机的钱并不是真正到电商里面的钱(该钱指的是利润)原本利润2000元，因为使用了优惠券，又少了四百元。最终的利润为1600元。
非常多的表如何丝滑的导入到HDFS
????????一个苹果手机就牵扯到了这么多的表，如何将Mysql中的数据同步到HDFS上
????????采用不同的策略。
1.每日全量同步
????????采用这种同步策略，就是每天都将Mysql中的表全部的同步过去。
????????采用这种策略的表，一般数据量不大，而且每天数据都会有新增和减少，需要我们时时刻刻去对比。
????????如果小米手机2022.1.27参加了新人优惠500的活动，这个活动小米只有一天，第二天就不参加了。相当于，小米手机今天参加这个活动，那么今天在商品活动表里面就要有小米手机的数据，第二天这个商品活动表里面就不应该有小米手机的数据。
????????这种情况。商品活动表就需要进行每日的同步，来确定哪个商品在该天参加活动。
?
2.增量同步
增量同步很简单，每天将新增加的数据存储在源表中，
?
3.只存储一次
????????这种表，只需要同步一次，就再也不需要同步。
????????省份表。这个是既定的事实，是不会改变的事实
业务数据首次同步
????????第一次同步数据，需要将所有的业务数据都进行同步。
????????因为表很多，我们总不能一次写一个Sqoop语句来同步一个表，这就是无效化工作。
????????通过写Shell脚本就可以完成所有业务数据或者个别数据的同步
#! /bin/bash ?
APP=gmall
sqoop=/opt/module/sqoop/bin/sqoop ?
if [ -n "$2" ] ;then ???do_date=$2
else
echo "请传入日期参数" ?
exit
fi ?
import_data(){
$sqoop import \
--connect jdbc:mysql://hadoop102:3306/$APP?\
--username root \
--password 000000 \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \ --query "$2 where \$CONDITIONS"?\
--num-mappers 1 \ --fields-terminated-by '\t' \
--compress \ --compression-codec lzop \
--null-string '\\N' \ --null-non-string '\\N'
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date import_order_info(){ ??import_data order_info "select ????????????????????????????id, ????????????????????????????total_amount, ????????????????????????????order_status, ????????????????????????????user_id, ????????????????????????????payment_way, ????????????????????????????delivery_address, ????????????????????????????out_trade_no, ????????????????????????????create_time, ????????????????????????????operate_time, ????????????????????????????expire_time, ????????????????????????????tracking_no, ????????????????????????????province_id, ????????????????????????????activity_reduce_amount, ????????????????????????????coupon_reduce_amount, ??????????????????????????? ????????????????????????????original_total_amount, ????????????????????????????feight_fee, ????????????????????????????feight_fee_reduce ????? ????????????????????????from order_info" }
case $1 in ??"order_info") ???
??import_order_info ;;如果需要同步user_info表里面的信息。
mysql_to_hdfs_init.sh user_info 2022-01-27
????????将Mysql中的user_info表同步到target-dir /origin_data/$APP/db//2022-01-07 这个目录里面。 后续将在这个目录创建相应的ods_电商_user_info表
业务数据每日同步
????????业务数据的每日同步同样也是写脚本
????????写脚本后就可以将数据同步了。
????????具体的脚本可以去尚硅谷的资料里面去看。
总结：
????????这篇博客只是讲解一下从Mysql中的表，同步到hdfs上的策略。
????????明天会实物来讲解如何将ods层的导入的相应表的里面，并且对表进行筛选，连接。将需要的数据放入到dw层。
? ? ? ? 明天一定好好写文章