[大数据] 新一代调度系统Dolphinscheduler的部署和简单使用总结

一、软件简介

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler(incubator) 于17年在易观数科立项，19年3月开源， 19 年8月进入Apache 孵化器。

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

整体架构

二、安装部署

? ? 支持单机，集群，docker，kubernetes，skywalking-agent?部署。本文给予1.3.6版本总结的一些集群部署的经验。

2.1 安装必要的组件

PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+? （存储调度dag信息，配置等）
JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
ZooKeeper (3.4.6+)：必装
Hadoop (2.6+) or MinIO：选装，如果需要用到资源上传功能，可以选择上传到 Hadoop or MinIO 上

?? ? 注意：DolphinScheduler本身不依赖 Hadoop、Hive、Spark，仅是会调用他们的 Client，用于提交对应的任务。?

?? ?这些组件执行任务所需要的依赖与调度并没有关联，需要在组件的lib中自行添加，如jdbc组件，在DS的lib中放置JDBC Driver 5.1.47+? 仅供调度自身与数据库交互用，hive、saprk等组件需要根据自己任务需要在各自依赖下放置对应的jdbc驱动包。

? 2.2 安装具体步骤

?? ? 2.2.1 下载解压

创建部署目录，部署目录请不要创建在 /root、/home 等高权限目录
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler

# 解压缩
tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/dolphinscheduler

mv apache-dolphinscheduler-1.3.6-bin  dolphinscheduler-bin

注意：这个解压目录并非最终软件的安装目录，而是一个初始化文件目录，之后安装会将这个目录的所有配置以及依赖分发到安装节点服务器。具体的安装目录与节点服务器需要另外配置，将在下文中介绍。

?? ? 2.2.2?创建部署用户，与hosts映射

在所有部署调度的机器上创建部署用户，并且一定要 配置 sudo 免密。假如我们计划在 ds1,ds2,ds3,ds4 这 4 台机器上部署调度，首先需要在每台机器上都创建部署用户 （部署用户要有免密sudo?的权限这点很重要，是实现多租户的必要配置）

# 创建用户需使用root登录，设置部署用户名，请自行修改，后面以 dolphinscheduler 为例
useradd dolphinscheduler

# 设置用户密码，请自行修改，后面以 dolphinscheduler123 为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

注意：

因为是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。
如果发现 /etc/sudoers 文件中有 "Default requiretty" 这行，也请注释掉
如果用到资源上传的话，还需要在 HDFS或者MinIO 上给该部署用户分配读写的权限

2.2.3 ssh打通以及修改目录权限， 配置hosts

2.2.3.1 配置hosts映射，也可以不配置而直接使用ip

vi /etc/hosts

# add ip hostname
192.168.xxx.xxx ds1
192.168.xxx.xxx ds2
192.168.xxx.xxx ds3
192.168.xxx.xxx ds4

同步hosts配置到所有的节点服务器

for ip in ds2 ds3;     # 请将此处 ds2 ds3 替换为自己要部署的机器的 hostname
do
  sudo scp -r /etc/hosts  $ip:/etc/          # 在运行中需要输入 root 密码
done

注意：若配置hosts，请删掉或者注释掉 127.0.0.1 这行

2.2.3.2 在 ds1(解压文件所在的节点) 上，切换到部署用户并配置 ssh 本机免密登录

su dolphinscheduler;

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

2.2.3.3 在 ds1 上，配置部署用户 dolphinscheduler ssh 打通到其他待部署的机器( 必要配置，为节点服务器分发DS的依赖和配置需要，若root用户有ssh权限，也可不配置dolphinscheduler用户的ssh权限而直接使用root用户来分发软件的依赖与配置)

su dolphinscheduler;
for ip in ds2 ds3;     # 请将此处 ds2 ds3 替换为自己要部署的机器的 hostname
do
  ssh-copy-id  $ip   # 该操作执行过程中需要手动输入 dolphinscheduler 用户的密码
done

# 当然 通过 sshpass -p xxx ssh-copy-id $ip 就可以省去输入密码了

2.2.3.4 在 ds1 上，修改目录权限，使得部署用户对 dolphinscheduler-bin目录【解压文件目录】有操作权限（ 必要配置）

sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin

2.2.4?数据库初始化

? ? 2.2.4.1 ?创建DS专用数据库以及配置权限

登录数据库：
   mysql -h192.168.xx.xx -P3306 -uroot -p

创建数据库并设置相应权限：
   mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
   mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
   mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';
   mysql> flush privileges;

注: {user} 和 {password} 需要替换为具体的数据库用户名和密码

注意：需要将对应版本的jdbc的驱动包?添加到 DolphinScheduler 的 lib 目录下。版本要求： JDBC Driver 5.1.47+?

2.2.4.1 ?修改数据库连接配置： ?datasource.properties

修改conf下的 datasource.properties文件

vi conf/datasource.properties

# postgre  # spring.datasource.driver-class-name=org.postgresql.Driver  #               
  spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler  # mysql
  spring.datasource.driver-class-name=com.mysql.jdbc.Driver
  spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true     需要修改ip
  spring.datasource.username=xxx                                               需要修改为上面的{user}值
  spring.datasource.password=xxx                                               需要修改为上面的{password}值

修改保存后，执行script目录下的脚本。?建表以及导入基础数据。

sh script/create-dolphinscheduler.sh

注意: 如果执行上述脚本报 “/bin/java: No such file or directory” 错误，请在/etc/profile 下配置 JAVA_HOME 及 PATH 变量

2.2.5?修改运行参数

2.2.5.1? 配置 调度所执行任务的必要环境，如 spark，hive等组件的路径，

修改 conf/env 目录下的 dolphinscheduler_env.sh 环境变量(以相关用到的软件都安装在 /opt/soft 下为例)

    export HADOOP_HOME=/opt/soft/hadoop
    export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
    # export SPARK_HOME1=/opt/soft/spark1
    export SPARK_HOME2=/opt/soft/spark2
    export PYTHON_HOME=/opt/soft/python
    export JAVA_HOME=/opt/soft/java
    export HIVE_HOME=/opt/soft/hive
    export FLINK_HOME=/opt/soft/flink
    export DATAX_HOME=/opt/soft/datax/bin/datax.py
    export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME:$PATH

注: 这一步非常重要，例如 JAVA_HOME 和 PATH 是必须要配置的，其他没有用到组件的可以忽略或者注释掉。

【Hadoop (2.6+) or MinIO?是放置 dolphinscheduler?调度任务jar或 资源的文件系统，上配置以hadoop为例】

2.2.5.2? 配置Dolphinscheduler?自身的运行环境

添加java环境，将 JDK 软链到 /usr/bin/java 下? (仍以 JAVA_HOME=/opt/soft/java 为例)

sudo ln -s /opt/soft/java/bin/java /usr/bin/java

2.2.5.3? 设置安装配置?install_config.conf

# 这里填 mysql or postgresql
dbtype="mysql"

# 数据库连接地址
dbhost="192.168.xx.xx:3306"

# 数据库名
dbname="dolphinscheduler"

# 数据库用户名，此处需要修改为上面设置的 {user} 具体值
username="xxx"

# 数据库密码，如果有特殊字符，请使用 \ 转义，需要修改为上面设置的 {password} 具体值
password="xxx"

# Zookeeper 地址
zkQuorum="192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181"

# 将 DS 安装到哪个目录，如: /opt/soft/dolphinscheduler，不同于现在的目录
installPath="/opt/soft/dolphinscheduler"

# 使用哪个用户部署，使用第 3 节创建的用户
deployUser="dolphinscheduler"

# 邮件配置，以 qq 邮箱为例# 邮件协议
mailProtocol="SMTP"

# 邮件服务地址
mailServerHost="smtp.qq.com"

# 邮件服务端口
mailServerPort="25"

# mailSender和 mailUser 配置成一样即可
# 发送者
mailSender="xxx@qq.com"

# 发送用户
mailUser="xxx@qq.com"

# 邮箱密码
mailPassword="xxx"

# TLS 协议的邮箱设置为 true，否则设置为 false
starttlsEnable="true"

# 开启 SSL 协议的邮箱配置为 true，否则为 false。注意: starttlsEnable 和 sslEnable 不能同时为 true
sslEnable="false"

# 邮件服务地址值，参考上面 mailServerHost
sslTrust="smtp.qq.com"

# 业务用到的比如 sql 等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为 HDFS，因为 HDFS 支持本地文件系统；如果不需要资源上传功能请选择 NONE。强调一点：使用本地文件系统不需要部署 hadoop
resourceStorageType="HDFS"

# 如果上传资源保存想保存在 hadoop 上，hadoop 集群的 NameNode 启用了 HA 的话，需要将 hadoop 的配置文件 core-site.xml 和 hdfs-site.xml 放到安装路径的 conf 目录下，本例即是放到 /opt/soft/dolphinscheduler/conf 下面，并配置 namenode cluster 名称；如果 NameNode 不是 HA，则只需要将 mycluster 修改为具体的 ip 或者主机名即可
defaultFS="hdfs://mycluster:8020"


# 如果没有使用到 Yarn，保持以下默认值即可;如果 ResourceManager 是 HA，则配置为 ResourceManager 节点的主备 ip 或者 hostname，比如 "192.168.xx.xx,192.168.xx.xx";如果是单 ResourceManager 请配置 yarnHaIps="" 即可
yarnHaIps="192.168.xx.xx,192.168.xx.xx"

# 如果 ResourceManager 是 HA 或者没有使用到 Yarn 保持默认值即可；如果是单 ResourceManager，请配置真实的 ResourceManager 主机名或者 ip
singleYarnIp="yarnIp1"

# 资源上传根路径，主持 HDFS 和 S3，由于 hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"

# 具备权限创建 resourceUploadPath的用户
hdfsRootUser="hdfs"

# 在哪些机器上部署 DS 服务，本机选 localhost
ips="ds1,ds2,ds3,ds4"

# ssh 端口，默认22
sshPort="22"

# master 服务部署在哪台机器上
masters="ds1,ds2"

# worker 服务部署在哪台机器上，并指定此 worker 属于哪一个 worker 组，下面示例的 default 即为组名
workers="ds3:default,ds4:default"

# 报警服务部署在哪台机器上
alertServer="ds2"

# 后端 api 服务部署在在哪台机器上
apiServers="ds1"

特别注意：

?? ?1. 如果需要用资源上传到 Hadoop 集群功能，并且 Hadoop 集群的 NameNode 配置了 HA 的话，需要开启 HDFS 类型的资源上传，同时需要将 Hadoop 集群下的 core-site.xml 和 hdfs-site.xml 复制到 /opt/dolphinscheduler/conf，非 NameNode HA 跳过次步骤

?? ?2. yarnHaIps?和? singleYarnIp?仅根据自身是否HA情况正确配置，否则会导致DS无法正常获取yarn上任务执行的状态信息。

2.2.6?一键部署

切换到部署用户 dolphinscheduler，然后执行一键部署脚本. (如果使用其他的用户，请保证该用户有 操作解压目录权限和 ssh到安装节点的权限，需要执行分发配置和依赖的操作)

sh install.sh

注意：第一次部署的话，在运行中第 3 步 3,stop server 出现 5 次以下信息，此信息可以忽略

sh: bin/dolphinscheduler-daemon.sh: No such file or directory

部署成功后，使用jps命令查看服务是否启动

MasterServer         ----- master服务
WorkerServer         ----- worker服务
LoggerServer         ----- logger服务
ApiApplicationServer ----- api服务
AlertServer          ----- alert服务

管理员用户登录，默认端口为12345

地址：http://192.168.xx.xx:12345/dolphinscheduler?

初始用户名密码：admin/dolphinscheduler123

如果以上服务都正常启动，说明自动部署成功

部署成功后，可以进行日志查看，日志统一存放于 logs 文件夹内

logs/
    ├── dolphinscheduler-alert-server.log
    ├── dolphinscheduler-master-server.log
    |—— dolphinscheduler-worker-server.log
    |—— dolphinscheduler-api-server.log
    |—— dolphinscheduler-logger-server.log

修改配置文件重新部署，只需要修改解压目录文件，执行sh install.sh? 会重新分发配置和依赖

注意：

? ?尽量先停止现有调度任务，和服务。一键安装可能会使调度任务在安装时候未被kill，重启后DS无法识别原有job的运行状态而触发容错，导致原有job未停止又启动了一个相同任务的job，各个服务也一样，可能修改了服务启动节点位置，但是原有节点上的服务未停止，导致同时存在多个相同服务，进而导致服务异常，如若存在多个loggerserver，会导致日志丢失等

2.2.6?其他功能：企业微信告警功能

如果您需要使用到企业微信进行告警，请在安装完成后，修改 alert.properties 文件，然后重启 alert 服务即可

# 设置企业微信告警功能是否开启：开启为 true，否则为 false
enterprise.wechat.enable="true"

# 设置 corpid，每个企业都拥有唯一的 corpid，获取此信息可在管理后台 “我的企业” － “企业信息” 下查看 “企业 ID”（需要有管理员权限）
enterprise.wechat.corp.id="xxx"

# 设置 secret，secret 是企业应用里面用于保障数据安全的 “钥匙”，每一个应用都有一个独立的访问密钥
enterprise.wechat.secret="xxx"

# 设置 agentid，每个应用都有唯一的 agentid。在管理后台 -> “应用与小程序” -> “应用”，点进某个应用，即可看到 agentid
enterprise.wechat.agent.id="xxxx"

# 设置 userid，多个用逗号分隔。每个成员都有唯一的 userid，即所谓 “帐号”。在管理后台 -> “通讯录” -> 点进某个成员的详情页，可以看到
enterprise.wechat.users=zhangsan,lisi


# 获取 access_token 的地址，使用如下例子无需修改
enterprise.wechat.token.url=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid={corpId}&corpsecret={secret}

# 发送应用消息地址，使用如下例子无需改动
enterprise.wechat.push.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token={token}

# 发送消息格式，无需改动
enterprise.wechat.user.send.msg={\"touser\":\"{toUser}\",\"agentid\":\"{agentId}\",\"msgtype\":\"markdown\",\"markdown\":{\"content\":\"{msg}\"}}

三、登录使用

3.1.1?启动&停止命令

登录地址：
http://192.168.xx.xx:12345/dolphinscheduler

初始账户&默认密码
admin/dolphinscheduler123


cd  安装目录

# 一键停止集群所有服务
sh ./bin/stop-all.sh
# 一键开启集群所有服务
sh ./bin/start-all.sh

# 启停 Master
sh ./bin/dolphinscheduler-daemon.sh start master-server
sh ./bin/dolphinscheduler-daemon.sh stop master-server
# 启停 Worker
sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server
# 启停 Api
sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server
# 启停 Logger
sh ./bin/dolphinscheduler-daemon.sh start logger-server
sh ./bin/dolphinscheduler-daemon.sh stop logger-server

# 启停 Alert
sh ./bin/dolphinscheduler-daemon.sh start alert-server
sh ./bin/dolphinscheduler-daemon.sh stop alert-server

3.1.2?时间参数配置

时间脚本设置
脚本：
    #!/bin/sh
    echo "---------------------------------------"
    echo "# 时间自定义参数"
    echo "后 1 年：" $[add_months(yyyyMMdd, 12*1)]
    echo "前 1 年：" $[add_months(yyyyMMdd, -12*1)]
    echo "后 1 月：" $[add_months(yyyyMMdd,1)]
    echo "前 1 月：" $[add_months(yyyyMMdd,-1)]
    echo "后 1 周：" $[yyyyMMdd+7*1]
    echo "前 1 周：" $[yyyyMMdd-7*1]
    echo "后 1 天：" $[yyyyMMdd+1]
    echo "前 1 天：" $[yyyyMMdd-1]
    echo "后 1 小时：" $[HHmmss+1/24]
    echo "前 1 小时：" $[HHmmss-1/24]
    echo "后 1 分钟：" $[HHmmss+1/24/60]
    echo "前 1 分钟：" $[HHmmss-1/24/60]


    echo "---------------------------------------"
    echo "# 用户自定义参数"
    echo "dt_yesterday: " ${dt_yesterday}
    echo "dt_datetime: " ${dt_datetime}
    echo "dt_today: " ${dt_today}
    echo "dt_today_global: " ${dt_today_global}

3.1.3?快速上手

官网快速上手文档：

https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/quick-start.html

注意： 创建租户--需要注意租户编码和linux上的用户是一一对应关系。若linux上无新建租户编码同名用户，则DS会自动创建该用户。（有需要使用特定用户环境的任务需要注意）

注意可选功能：服务器worker比重，默认队列设置，企业微信告警功能，超时重试&警告等。?

3.1.4?遇到的一些坑

1. 使用数据源中心的数据源，添加SQL节点之前必先配置发送通知的邮箱账号(install_config.conf)，否则非查询操作由于无法发送通知可能导致job报错。
2. SQL节点的通知邮箱必须配置正确的邮件账号，若邮件发送错误会将整个job 状态判定为失败。
3. 使用hive数据源执行SQL节点任务，使用如row_number()over(),max() 等函数，尽量进行重命名，否则可能导致报错。

4. 执行flink job 时候，需要注意flink版本，1.10以上版本中 taskmanager 参数不可添加，yarn 无法识别-yn 参数，会导致job启动失败 。  -- 升级1.3.5+版本解决，就是把这个参数删除了~~
5.flink job 设置任务名称参数 -ynm 失效。 -- 升级1.3.5+版本解决
6. 无法正常监控flink on yarn 的任务执行状态，升级1.3.5+版本解决
7.提交flink on yarn 任务报sql 运行失败错误，有可能是flink 任务启动了UI 服务，占用了8085端口

8.需要注意，在工作流定义入口，无法修改工作流配置(需要先下线工作流才可配置)。 但是在《工作流实例》和《任务实例》进入工作流则可以直接更新已经上线调度任务！！

[大数据]新一代调度系统Dolphinscheduler的部署和简单使用总结

分布式易扩展的可视化工作流任务调度平台