?目录
需求背景
根据业务情况，需要调度ETL数据清洗的hql语句
解决方案
通过大数据组件HUE+OOZIE调度shell脚本执行hive sql命令，方便管理，方便排错。
实施方法
1.编写shell文件
wf-etl-user.sh
#!/bin/bash
# hive目录
hive=/usr/local/service/hive/bin/hive
# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$1" ]; then
do_date=$1
else
do_date=$(date -d "-1 day" +%F)
fi
sql="use dd_database_bigdata;
INSERT OVERWRITE TABLE dwd_content_view_log
PARTITION(dt='$do_date')
SELECT
date_format('$do_date','yyyyMMdd') date_id,
date_time data_time,
biz_id,
biz_type,
behavior_type,
get_json_object(behavior_value,'$.seconds') behavior_value,
user_id,
longitude,
latitude,
ip,
request_ip,
app_version,
app_id,
device_id,
device_type,
network,
mobile_type,
os,
session_id,
trace_id,
parent_trace_id,
page_id,
sign,
token
FROM dwd_base_event_log_b
WHERE dt='$do_date' AND behavior_type in ('content_view','content_stop');"
echo "===开始清洗事件日期为 $do_date 的数据==="
$hive -e "$sql"
echo "===事件日期为 $do_date 的数据清洗完成==="语句解释：
shell文件中定义一个变量，直接定义比如：jdbc_username=root，使用此参数：$jdbc_username
shell中前一天`date -d "-1 day" +%F`，当日`date?+%F`
shell action需要传参时，HUE上规定是使用$1，$2，$3这种方式，后面创建Schedule时会讲到。
shell中定义的hive的bin路径，是为了执行hive时调用hive程序：$hive -e 是在此目录下执行hive语句。
2.将sh文件放到hdfs上
/warehouse/dd/oozie/workspace/workspace-sqoop-hive2mysql-now/shell/sqoop-hive2mysql-now-shell.sh
3.创建workflow
?4.执行测试
?程序执行可在job中查看执行情况
?5.创建coordinate调度
from开始时间如果选择了之前的时间，任务创建执行后，会先执行多个job弥补选择的时间差。
比如：我们每时10分的任务，当前时间是12点15分，from选择了12点0分，执行这个coordinate时，会立即执行一个job workflow，是执行的12点10分的任务。所以这个from我们只需要创建时默认当时的时间即可。?
6.执行coord
?