全流程调度-DolphinScheduler的介绍和使用

简介

概述

Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

对比

特性

• 以DAG图的⽅式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运⾏状态
• ⽀持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等，1.2.0已经⽀持Flink 和 http Task。
• ⽀持⼯作流定时调度、依赖调度、⼿动调度、⼿动暂停/停⽌/恢复，同时⽀持失败重试/告警、从指定节点恢复失败、Kill任务等操作
• ⽀持⼯作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
• ⽀持⼯作流全局参数及节点⾃定义参数设置
• ⽀持资源⽂件的在线上传/下载，管理等，⽀持在线⽂件创建、编辑
• ⽀持任务⽇志在线查看及滚动、在线下载⽇志等
• 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中⼼化
• ⽀持对 Master/Worker cpu load，memory，cpu在线查看
• ⽀持⼯作流运⾏历史树形/⽢特图展示、⽀持任务状态统计、流程状态统计
• ⽀持补数
• ⽀持多租户
• ⽀持国际化

DolphinScheduler 核心架构

DolphinScheduler 的主要角色如下：

• MasterServer 采用分布式无中心设计理念，MasterServer 主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它 MasterServer 和 WorkerServer 的健康状态。
• WorkerServer 也采用分布式无中心设计理念，WorkerServer 主要负责任务的执行和提供日志服务。
• ZooKeeper 服务，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错。
• Alert 服务，提供告警相关服务。
• API 接口层，主要负责处理前端 UI 层的请求。
• UI，系统的前端页面，提供系统的各种可视化操作界面。

DolphinScheduler 部署说明

软硬件环境要求

（1）操作系统版本要求

操作系统	版本
Red Hat Enterprise Linux	7.0 及以上
CentOS	7.0 及以上
Oracle Enterprise Linux	7.0 及以上
Ubuntu LTS	16.04 及以上

（2）服务器硬件要求

CPU	内存	硬盘类型	网络	实例数量
4 核+	8 GB+	SAS	千兆网卡	1+

部署模式

DolphinScheduler 支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo- Cluster）、集群模式（Cluster）等。

单机模式

单机模式（standalone）模式下，所有服务均集中于一个 StandaloneServer 进程中，并且其中内置了注册中心 Zookeeper 和数据库 H2。只需配置 JDK 环境， 就可一键启动DolphinScheduler，快速体验其功能。

伪集群模式

伪集群模式（Pseudo-Cluster）是在单台机器部署 DolphinScheduler 各项服务，该模式下 master、worker、api server、logger server 等服务都只在同一台机器上。Zookeeper 和数据库需单独安装并进行相应配置。

集群模式

集群模式（Cluster）与伪集群模式的区别就是在多台机器部署 DolphinScheduler 各项服务，并且 Master、Worker 等服务可配置多个。

DolphinScheduler 集群模式部署

集群规划

集群模式下，可配置多个 Master 及多个 Worker。通常可配置 2~3 个 Master，若干个Worker。由于集群资源有限，此处配置一个 Master，三个 Worker，集群规划如下。

hadoop102	master、worker
hadoop103	worker
hadoop104	worker

前置准备工作

1. 三台节点均需部署 JDK（1.8+），并配置相关环境变量。

2. 需部署数据库，支持 MySQL（5.7+）或者 PostgreSQL（8.2.15+）。

3. 需部署 Zookeeper（3.4.6+）。

4. 三台节点均需安装进程树分析工具 psmisc。

[atguigu@hadoop102 ~]$ sudo yum install -y psmisc
[atguigu@hadoop103 ~]$ sudo yum install -y psmisc
[atguigu@hadoop104 ~]$ sudo yum install -y psmisc

解压 DolphinScheduler 安装包

1. 上传DolphinScheduler 安装包到 hadoop102 节点的/opt/software 目录

2. 解压安装包到当前目录

注：解压目录并非最终的安装目录

 [atguigu@hadoop102 software]$ tar -zxvf apache-dolphinscheduler-2.0.5-bin

创建元数据库及用户

DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。

（1）创建数据库

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 
DEFAULT COLLATE utf8_general_ci;

（2）创建用户

mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 
'dolphinscheduler';

注：

若出现以下错误信息，表明新建用户的密码过于简单。

ERROR 1819 (HY000): Your password does not satisfy the current policy 
requirements

可提高密码复杂度或者执行以下命令降低 MySQL 密码强度级别。

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

（3）赋予用户相应权限

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
mysql> flush privileges;

配置一键部署脚本

修改解压目录下的conf/config 目录下的 install_config.conf 文件。

[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ vim conf/config/install_config.conf

修改内容如下。

#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# A comma separated list of machine hostname or IP would be installed DolphinScheduler,
# including master, worker, api, alert. If you want to deploy in pseudodistributed
# mode, just write a pseudo-distributed hostname
# Example for hostnames: ips="ds1,ds2,ds3,ds4,ds5", Example for IPs: 
ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
ips="hadoop102,hadoop103,hadoop104" # 将要部署任一 DolphinScheduler 服务的服务器主机名或 ip 列表
# Port of SSH protocol, default value is 22. For now we only support same port in all `ips` machine
# modify it if you use different ssh port
sshPort="22"
# A comma separated list of machine hostname or IP would be installed Master server, it
# must be a subset of configuration `ips`.
# Example for hostnames: masters="ds1,ds2", Example for IPs: 
masters="192.168.8.1,192.168.8.2"
masters="hadoop102" # master 所在主机名列表，必须是 ips 的子集
# A comma separated list of machine <hostname>:<workerGroup> or <IP>:<workerGroup>.All hostname or IP must be a
# subset of configuration `ips`, And workerGroup have default value as `default`, but we recommend you declare behind the hosts
# Example for hostnames: workers="ds1:default,ds2:default,ds3:default", Example for IPs: 
workers="192.168.8.1:default,192.168.8.2:default,192.168.8.3:default"
workers="hadoop102:default,hadoop103:default,hadoop104:default" # worker 主机名及队列，此处的 ip 必须在 ips 列表中
# A comma separated list of machine hostname or IP would be installed Alert server, it
# must be a subset of configuration `ips`.
# Example for hostname: alertServer="ds3", Example for IP: 
alertServer="192.168.8.3"
alertServer="hadoop102" # 告警服务所在服务器主机名
# A comma separated list of machine hostname or IP would be installed API server, it
# must be a subset of configuration `ips`.
# Example for hostname: apiServers="ds1", Example for IP: 
apiServers="192.168.8.1"
apiServers="hadoop102" # api 服务所在服务器主机名
# A comma separated list of machine hostname or IP would be installed Python gateway server, it
# must be a subset of configuration `ips`.
# Example for hostname: pythonGatewayServers="ds1", Example for IP: 
pythonGatewayServers="192.168.8.1"
# pythonGatewayServers="ds1"
# 不需要的配置项，可以保留默认值，也可以用 # 注释
# The directory to install DolphinScheduler for all machine we config above. It will automatically be created by `install.sh` script if not exists.
# Do not set this configuration same as the current path (pwd)
installPath="/opt/module/dolphinscheduler" # DS 安装路径，如果不存在会创建
# The user to deploy DolphinScheduler for all machine we config above. For now user must create by yourself before running `install.sh`
# script. The user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled than the root directory needs
# to be created by this user
deployUser="atguigu" # 部署用户，任务执行服务是以 sudo -u {linux-user} 切换不同 Linux 用户的方式来实现多租户运行作业，因此该用户必须有免密的 sudo 权限。
# The directory to store local data for all machine we config above. Make sure user `deployUser` have permissions to read and write this directory.
dataBasedirPath="/tmp/dolphinscheduler"
# 前文配置的所有节点的本地数据存储路径，需要确保部署用户拥有该目录的读写权限
# ---------------------------------------------------------
# DolphinScheduler ENV
# ---------------------------------------------------------
# JAVA_HOME, we recommend use same JAVA_HOME in all machine you going 
to install DolphinScheduler
# and this configuration only support one parameter so far.
javaHome="/opt/module/jdk1.8.0_212" # JAVA_HOME 路径
# DolphinScheduler API service port, also this is your DolphinScheduler UI component's URL port, default value is 12345
apiServerPort="12345"
# ---------------------------------------------------------
# Database
# NOTICE: If database value has special characters, such as `.*[]^${}\+?|()@#&`, Please add prefix `\` for escaping.
# ---------------------------------------------------------
# The type for the metadata database
# Supported values: ``postgresql``, ``mysql`, `h2``.
# 注意：数据库相关配置的 value 必须加引号，否则配置无法生效
DATABASE_TYPE="mysql" # 数据库类型
# Spring datasource url, following <HOST>:<PORT>/<database>?<parameter> format, If you using mysql, you could use jdbc
# string 
jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8 as example
# SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:h2:mem:dolphinscheduler;MODE=MySQL;DB_CLOSE_DELAY=-1;DATABASE_TO_LOWER=true"}
SPRING_DATASOURCE_URL="jdbc:mysql://hadoop102:3306/dolphinscheduler?u
seUnicode=true&characterEncoding=UTF-8" # 数据库 URL
# Spring datasource username
# SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"sa"}
SPRING_DATASOURCE_USERNAME="dolphinscheduler" # 数据库用户名
# Spring datasource password
# SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-""}
SPRING_DATASOURCE_PASSWORD="dolphinscheduler" # 数据库密码
# ---------------------------------------------------------
# Registry Server
# ---------------------------------------------------------
# Registry Server plugin name, should be a substring of `registryPluginDir`, DolphinScheduler use this for verifying configuration consistency
registryPluginName="zookeeper"
# 注册中心插件名称，DS 通过注册中心来确保集群配置的一致性
# Registry Server address.
registryServers="hadoop102:2181,hadoop103:2181,hadoop104:2181" # 注册中心地址，即 Zookeeper 集群的地址
# Registry Namespace
registryNamespace="dolphinscheduler"
# DS 在 Zookeeper 的结点名称
# ---------------------------------------------------------
# Worker Task Server
# ---------------------------------------------------------
# Worker Task Server plugin dir. DolphinScheduler will find and load the worker task plugin jar package from this dir.
taskPluginDir="lib/plugin/task"
# resource storage type: HDFS, S3, NONE
resourceStorageType="HDFS"
# 资源存储类型
# resource store on HDFS/S3 path, resource file will store to this hdfs path, self configuration, please make sure the directory exists on hdfs and has read write permissions. "/dolphinscheduler" is recommended
resourceUploadPath="/dolphinscheduler"
# 资源上传路径
# if resourceStorageType is HDFS，defaultFS write namenode address，HA, you need to put core-site.xml and hdfs-site.xml in the conf directory.
# if S3，write S3 address，HA，for example ：s3a://dolphinscheduler， # Note，S3 be sure to create the root directory /dolphinscheduler
defaultFS="hdfs://hadoop102:8020"
# 默认文件系统
# if resourceStorageType is S3, the following three configuration is required, otherwise please ignore
s3Endpoint="http://192.168.xx.xx:9010"
s3AccessKey="xxxxxxxxxx"
s3SecretKey="xxxxxxxxxx"
# resourcemanager port, the default value is 8088 if not specified
resourceManagerHttpAddressPort="8088"
# yarn RM http 访问端口
# if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single node, keep this value empty
yarnHaIps= # Yarn RM 高可用 ip，若未启用 RM 高可用，则将该值置空
# if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single node, you only need to replace 'yarnIp1' to actual resourcemanager hostname
singleYarnIp="hadoop103" # Yarn RM 主机名，若启用了 HA 或未启用 RM，保留默认值
# who has permission to create directory under HDFS/S3 root path
# Note: if kerberos is enabled, please config hdfsRootUser=
hdfsRootUser="atguigu" # 拥有 HDFS 根目录操作权限的用户
# kerberos config
# whether kerberos starts, if kerberos starts, following four items need to config, otherwise please ignore
kerberosStartUp="false"
# kdc krb5 config file path
krb5ConfPath="$installPath/conf/krb5.conf"
# keytab username,watch out the @ sign should followd by \\
keytabUserName="hdfs-mycluster\\@ESZ.COM"
# username keytab path
keytabPath="$installPath/conf/hdfs.headless.keytab"
# kerberos expire time, the unit is hour
kerberosExpireTime="2"
# use sudo or not
sudoEnable="true"
# worker tenant auto create
workerTenantAutoCreate="false"

初始化数据库

（1）拷贝 MySQL 驱动到 DolphinScheduler 的解压目录下的 lib 中，要求使用 MySQL JDBC Driver 8.0.16。

[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ cp /opt/software/mysql-connector-java-8.0.16.jar lib/

（2）执行数据库初始化脚本

数 据 库 初 始 化 脚 本 位于 DolphinScheduler 解压目录下的 script 目录中， 即/opt/software/ds/apache-dolphinscheduler-2.0.5-bin/script/。

[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ script/create-dolphinscheduler.sh

一键部署 DolphinScheduler

（1）启动Zookeeper 集群

[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ zk.sh start

（2）一键部署并启动DolphinScheduler

[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ ./install.sh

（3）查看DolphinScheduler 进程

29139 ApiApplicationServer
28963 WorkerServer
3332 QuorumPeerMain
2100 DataNode
28902 MasterServer
29081 AlertServer
1978 NameNode
29018 LoggerServer
2493 NodeManager
29551 Jps
--------- hadoop103 ----------
29568 Jps
29315 WorkerServer
2149 NodeManager
1977 ResourceManager
2969 QuorumPeerMain
29372 LoggerServer
1903 DataNode
--------- hadoop104 ----------
1905 SecondaryNameNode
27074 WorkerServer
2050 NodeManager
2630 QuorumPeerMain
1817 DataNode
27354 Jps
27133 LoggerServer

（4）访问DolphinScheduler UI

DolphinScheduler UI 地址为 http://hadoop102:12345/dolphinscheduler

初始用户的用户名为：admin，密码为 dolphinscheduler123

DolphinScheduler 启停命令

DolphinScheduler 的启停脚本均位于其安装目录的 bin 目录下。

（1）一键启停所有服务

./bin/start-all.sh
./bin/stop-all.sh

注意同 Hadoop 的启停脚本进行区分。

（2）启 停 Master

./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server

（3）启 停 Worker

./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server

（4）启 停 Api

./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server

（5）启 停 Logger

./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server

（6）启 停 Alert

./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server

DolphinScheduler 入 门

安全中心配置

安全中心主要有租户管理、用户管理、告警组管理、告警实例管理、Worker 分组管理、Yarn 队列管理、环境管理、令牌管理等功能。

（1）Yarn 队列管理

队列是在执行 spark、mapreduce 等程序，需要用到“队列”参数时使用的。

此处的队列对应的是 Yarn 调度器的资源队列。故队列概念只对跑在 Yarn 上的任务类型有效。此处创建出的队列，可供后续任务进行选择。需要注意的是，在DolphinScheduler 中创建队列，并不会影响到 Yarn 调度器的队列配置。

此处可不创建队列。

注：

• 名称：DS 执行任务时可以选择的队列名称。

• 队列值：与名称相对应的 Yarn 调度队列的名称。

（2）租户管理

租户对应的是Linux 的用户，用于 worker 提交作业所使用的用户。如果 linux 没有这个用户，默认情况下会导致任务运行失败。可以通过修改 worker.properties 配置文件中参数worker.tenant.auto.create=true（默认值为 false）实现当 linux 用户不存在时自动创建该用户。worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令。

此处创建一个 atguigu 租户，如下图。

注：

• 租户编码：租户编码是Linux 上的用户，唯一，不能重复。

• 队列：该租户提交 Yarn 任务时的默认队列。

（3）用户管理

用户对应的是 DolphinScheduler 的用户，用于登录 DolphinScheduler。用户分管理员用户和普通用户。

管理员有授权和用户管理等权限，没有创建项目和工作流定义的操作的权限。

普通用户可以创建项目和对工作流定义的创建，编辑，执行等操作。此处创建一个普通用户 atguigu，如下图。

注：

• 用户名：DolphinScheduler 登录账户

• 租户：该用户关联的租户

• 队列：默认为租户所关联的队列

• 邮件、手机号：主要用于告警通知

（4）告警实例管理与告警组管理

告警实例与告警组用于任务运行成功或者失败之后的告警通知。一个告警组可包含多个告警实例，一个告警实例，需选择一个告警插件，并配置相应参数，目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。

此处暂不配置。

（5）Worker 分组管理

一个 Worker 分组由多个 Worker 组成。在任务执行时，可以将任务分配给指定 Worker 组，由该组中的 Worker 节点执行该任务。每个 Worker 至少属于一个组，默认为 default 组。Worker 所属分组可以调整，调整方式如下：

（1）方式一

打开要设置分组的 Worker 节点上的 worker.properties 配置文件，修改 worker.groups 参数，worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default，如果该 worker节点属于多个分组，则多个分组名称以逗号隔开。

示例：

 worker.groups=default,test

（2）方式二

在 Web UI 的安全中心的Workder 分组管理中修改，如下图所示。

此处可不做配置。

（6）环境管理

此处可配置 Worker 运行环境（任务运行时所需的环境变量），默认的运行环境由 Worker节点中，dolphinscheduler 安装目录下的 conf/env/dolphinscheduler_env.sh 决定。

创建环境的操作如下图所示，环境创建完毕之后，就可供 Worker 运行任务时选择。

注：

• 环境名称：用户自定义名称。

• 环境配置：与 dolphinscheduler_env.sh 配置格式相同。

• 详细描述：环境的详细描述，不能为空，否则无法创建

• Worker 组：环境所属的 Worker 组。此处暂不做配置。

（7）令牌管理

令牌用于通过接口访问 DolphinScheduler 各项服务时的用户验证。普通用户通过 UI 页面访问各项服务时，无需使用令牌。若需将 DolphinScheduler 与第三方服务进行集成，则需调用其接口，此时需使用令牌。

项目管理

（1）创建项目

（2）查看项目

工作流基础配置

下图为工作流配置页面，共包含三个模快，分别为工作流定义、工作流实例和任务实例。

• 工作流定义：用于定义工作流，包括工作流各节点任务详情及各节点依赖关系等。
• 工作流实例：工作流每执行一次就会生成一个工作流实例。此处可查看正在运行的工作流以及已经完成的工作流。
• 任务实例：工作流中的一个节点任务，每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

工作流定义

工作流要求：工作流需包含三个 Shell 类型的任务节点，分别是A，B，C。三个任务的依赖关系如下图所示：

（1）创建工作流

（2）配置任务节点

1. 节点A

   

2. 节点B

   

3. 节点C

   

（3）配置任务节点的依赖关系

配置依赖的关系的方式如下两种：

• 直接对 DAG 图进行拖拽操作

  

• 在节点设置中选择 “前置任务”

  

（4）保存工作流定义

执行工作流

（1）上线工作流

工作流须上线之后才能执行。处于上线状态的工作流定义不可修改，如需修改，须先下线。

（2）单次运行工作流

（3）定时执行工作流

• 点击定时

  

• 配置定时规则

  此处示例为每分钟执行一次

• 定时管理

  

• 定时上线

  

查看工作流实例

（1）查看所有工作流实例

（2）查看工作流执行状态

查看任务实例

（1）查看所有任务实例

（2）查看任务实例日志

DolphinScheduler 进阶

工作流传参

本地参数和全局参数

DolphinScheduler 支持对任务节点进行灵活的传参，任务节点可通过${参数名}引用参数值。

• 本地参数

  本地参数是指只针对单个任务节点有效的参数。

  修改helloworld 工作流 Node-A 节点如下：

  

  • dt：参数名

  • IN/OUT：IN 表示向当前节点传参，OUT 表示向下游节点传参

  • VARCHAR：参数值类型

  • 2020-06-14：参数值

  保存工作流并运行，查看Node-A 输出日志。

• 全局参数

  全局参数是指针对整个工作流的所有任务节点都有效的参数。

  修改helloworld 工作流每个任务节点如下：

  节点A 配置：

  

  节点B 配置：

  

  节点C 配置：

  

  保存工作流，并设置全局参数：

  

  执行工作流，查看三个任务节点输出日志。

参数传递

DolphinScheduler 支持上游任务节点向下游任务节点传参。目前支持这个特性的任务类型有：Shell、SQL、Procedure。以下案例使用 Shell 类型的任务节点进行演示。

（1）设置上游节点 Node-A

注：echo '${setValue(key=value)}'为固定写法

（2）设置下游节点 Node-C

（3）查看输出日志

可以看到对应节点日志中输出了其调用参数的值。

参数优先级

一个任务节点引用的参数可能来自三种类型：分别是全局参数 、上游任务传递的参数、本地参数。因为参数的值存在多个来源，当参数名相同时，就需要考虑参数优先级的问题。DolphinScheduler 参数的优先级从低到高为：全局参数 <上游任务传递的参数 <本地参数。

在上游任务传递的参数的情况下，由于上游可能存在多个任务向下游传递参数。当上游传递的参数名称相同时：

• 下游节点会优先使用值为非空的参数。
• 如果存在多个值为非空的参数，则按照上游任务的完成时间排序，选择完成时间最早的上游任务对应的参数。

内置参数

DolphinScheduler 提供了一些时间相关的系统参数，方便定时调度使用。

（1）基础内置参数

变量名	参数	说明
system.biz.date	${system.biz.date}	定时时间前一天，格式为 yyyyMMdd
system.biz.curdate	${system.biz.curdate}	定时时间，格式为 yyyyMMdd
system.datetime	${system.datetime}	定时时间，格式为 yyyyMMddHHmmss

（2）衍生内置参数

可通过衍生内置参数，设置任意格式、任意时间的日期。

• 自定义日期格式

  可以对 $[yyyyMMddHHmmss] 任意分解组合，如 $[yyyyMMdd], $[HHmmss], $[yyyy- MM-dd]。

• 使 用 add_months() 函 数

  该函数用于加减月份， 第一个入口参数为[yyyyMMdd]，表示返回时间的格式 第二个入口参数为月份偏移量，表示加减多少个月。

  参数	说明
  $[add_months(yyyyMMdd,12*N)]	后 N 年
  $[add_months(yyyyMMdd,-12*N)]	前 N 年
  $[add_months(yyyyMMdd,N)]	后 N 月
  $[add_months(yyyyMMdd,-N)]	前 N 月

• 直接加减数字

  在自定义格式后直接“+/-”数字，单位为“天”。

  参数	说明
  $[yyyyMMdd+7*N]	后 N 周
  $[yyyyMMdd-7*N]	前 N 周
  $[yyyyMMdd+N]	后 N 天
  $[yyyyMMdd-N]	前 N 天
  $[HHmmss+N/24]	后 N 小 时
  $[HHmmss-N/24]	前 N 小 时
  $[HHmmss+N/24/60]	后 N 分 钟
  $[HHmmss-N/24/60]	前 N 分 钟

（3）配置示例

若执行的脚本需要一个格式为 yyyy-MM-dd 的前一天日期的参数，进行如下配置即可。

引用依赖资源

有些任务需要引用一些额外的资源，例如 MR、Spark 等任务须引用 jar 包，Shell 任务需要引用其他脚本等。DolphinScheduler 提供了资源中心来对这些资源进行统一管理。资源中心存储系统可选择本地文件系统或者HDFS 等。资源中心除了提供文件资源管理功能，还提供了 Hive 自定义函数管理的功能。

下面以 Shell 任务为例，演示如何引用资源中心的其他脚本。

（1）在资源中心创建脚本

（2）配置 Shell 任务引用脚本

修改工作流节点 Node-A，引用上述脚本：

（3）保存工作流并执行，查看对应节点输出日志。

告警通知

Dolphinscheduler 支持多种告警媒介，此处以电子邮件为例进行演示。

（1）切换管理员用户

（2）创建告警实例

第一步：点击创建告警实例

第二步：编辑告警实例

（3）创建告警组

第一步：点击创建告警组

第二步：编辑告警组

（4）测试告警通知

1. 切换普通用户

2. 执行工作流测试

   

3. 等待接受邮件

工作流失败重跑

若工作流执行到一半失败了，需要重新启动工作流。重新启动时可选择从起点开始执行， 也可选择从断点开始执行。

模拟失败场景：

（1）修改Node-A 配置如下

（2）修改资源中心的 test.sh 文件如下

（3）运行工作流

（4）查看工作流实例

（5）工作失败重跑

从起点开始：

从断点开始：