Apache DolphinScheduler集群升级/安装(1.2.1 & 1.3.0)

谁借莪１个温暖的怀抱￠ 2023-07-13 03:17 14阅读 0赞

# 目录 #

*  1 版本说明
    
     *  1.1 关于 1.1.0 版本
     *  1.2 关于 1.2.0 版本
        
         *  1.2.1 新特性
         *  1.2.2 增强功能
         *  1.2.3 修复的 Bug
     *  1.3 关于 1.2.1 版本
 *  2 升级/安装 1.2.1 版本 Apache DolphinScheduler
    
     *  2.1 安装/升级之前
     *  2.2 下载并解压
     *  2.3 元数据
        
         *  2.3.1 如果新环境
         *  2.3.2 如果升级
     *  2.4 配置安装脚本
     *  2.5 配置 Nginx
     *  2.6 安装并启动服务
     *  2.7 访问前端页面
 *  3 升级/安装 1.3.0 版本 Apache DolphinScheduler
    
     *  3.1 配置与启动
     *  3.2 资料链接

--------------------

# 1 版本说明 #

每一个版本都会在上一版的基础上修复一些问题、增加新的特性和对已有的功能进行增强。具体的可以查看 [Release][]。

## 1.1 关于 1.1.0 版本 ##

具体可以查看 [Lidong Dai][] 的博客 [Easy Scheduler 1.1.0 Release发布，分布式工作流任务调度系统][Easy Scheduler 1.1.0 Release]。

这个版本的源码的包命名统一为`cn.escheduler.*`，安装部署需要需要单独下载后端和前端的二进制包进行安装部署，关于这个版本的安装部署可以参考我的另一篇 blog [工作流任务调度系统：Apache DolphinScheduler][Apache DolphinScheduler]

## 1.2 关于 1.2.0 版本 ##

从这个版本开始，项目的代码整体上全部迁移为 Apache 项目，包命名规范统一`org.apache.dolphinscheduler.*`。在这个版本新增了对 PostgreSQL SQL 的支持。

### 1.2.1 新特性 ###

1.  支持 PostgreSQL SQL。
2.  将所有中文名称改为英文名。
3.  添加 Flink 和 Http 任务的支持。
4.  跨项目依赖。
5.  将 mybatis 修改为 mybatisplus，支持多个数据库。
6.  添加导入和导出定义特征。
7.  Github Actions CI 编码检查。
8.  添加方法和参数注释。
9.  为通用模块添加Java文档。

### 1.2.2 增强功能 ###

1.  添加 license 和 通知 文件。
2.  将 batchDelete 程序 的 Define/Instance 移到外部进行实物处理。
3.  移除登陆用户名前后的空格。
4.  Dockerfile 的优化。
5.  更改 `mysql-connector-java` 的作用域为 `test`。
6.  所有者和管理员可以删除 schedule。
7.  数据库页面重命名和背景颜色的修改。
8.  添加 postgre 性能监听器。
9.  解决样式冲突，收件人无法进行 tab 和 value 的验证。
10. 更改复选框的背景颜色和环境为中文。
11. 将中文 SQL 更改为英文。
12. 更改 `sqlSessionTemplate` 单例并重新格式化代码。
13. `loadaverage` 的值应该为小数点后 2 位。
14. 删除报警组时需要删除用户与报警组的关系。
15. 删除租户是删除检查资源。
16. 删除工作组之前检查 `processInstance` 状态。
17. 删除租户时添加检查用户和自定义功能。
18. 在 Check 前删除，以避免 `KeeperException$NoNodeException` 。

### 1.2.3 修复的 Bug ###

1.  修复了 [\#1245][1245] 号问题，使得 `scanCommand` 具有了事务性。
2.  修复了 `ZKWorkerClient` 无法关闭 `PathChildrenCache`的问题。
3.  修复了数据类型存在的转换错误 和 email 发送的错误。
4.  修复捕获异常事物的方法不生效，无法修改的错误。
5.  修复 Spring 中事物不能工作的 bug。
6.  修复Task 日志打印 Worker 日志的 bug。
7.  修复 api server 调试模式的 bug。
8.  修复了 task 异常和 task 运行的 bug。
9.  修复bug：task 队列长度的错误。
10. 修复不合适的消息错误。
11. 修复bug：电话可以为空。
12. 修复 email 错误密码。
13. 修复 CheckUtils.checkUserParams 方法。
14. 修复当处于 “提交成功” 状态的任务时无法终止进程的问题。
15. 修复 upgrade 或者 create 连接过多的问题。
16. 修复 Worker 使用队列执行任务时的错误，并删除检查。
17. 解决验证 UDF 名字的错误和删除 UDF 错误。
18. 修复bug：恢复故障转移时 Task 不能提交。
19. 修复bug：管理员将项目授权给普通用户，但是普通用户看不到管理员创建的 process 定义。
20. 修复bug：创建 dolphinscheduler sql 失败。

## 1.3 关于 1.2.1 版本 ##

更详细的发布信息可以查看 [dailidong][] 的博客 [Apache DolphinScheduler 1.2.1发布，可视化工作流任务调度系统][Apache DolphinScheduler 1.2.1]。在这个版本合并了前端和后端的源码包，同时对配置文件也进行了部分合并，减少了配置文件。

# 2 升级/安装 1.2.1 版本 Apache DolphinScheduler #

## 2.1 安装/升级之前 ##

DolphinScheduler 的软硬件环境建议配置要求可以查看 [官方部署文档/软硬件环境建议配置][Link 1]，同时需要有能够访问的元数据库 (PostgreSQL 8.2.15+ 或者 Mysql 5.6 or 5.7 )，JDK 1.8+, ZooKeeper 3.4.6+，其它比如（[Apache Hadoop][]、[Apache Hive][] 、[Apache Spark][]、[Apache Flink][] 等 可以选装）。

安装之前需要先在系统环境中创建一个普通用户，作为我们部署 Apache DolphinScheduler 的用户，同时如果是集群化部署，多个节点需要配置好 SSH 。关于更详细的安装和配置可以参考 我一篇 blog [工作流任务调度系统：Apache DolphinScheduler][Apache DolphinScheduler]，这篇 blog 以 1.1.0 为例详细讲解了安装过程。**下面这部分会介绍新环境下的安装部署，和在 1.1.0 版本之上的升级安装**。

## 2.2 下载并解压 ##

访问 Apache DolphinScheduler 镜像 [/apache/incubator/dolphinscheduler][apache_incubator_dolphinscheduler]，部署可以直接下载二进制分发包(Binary Distribution) [apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz][]。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.2.1/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz
    
    # 解压
    tar -zxf apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz
    
    # 修改文件的所属的用户和租
    sudo chown -R escheduler:escheduler apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin

解压后进入解压的文件夹下，可以看到如下内容，我们在这里可以看到一个二进制包下已经包含了前端和后端的所有文件。

drwxr-xr-x 2 escheduler escheduler  4096 Mar  8 15:15 bin
    drwxr-xr-x 7 escheduler escheduler  4096 Mar  8 15:15 conf
    -rw-r--r-- 1 escheduler escheduler   563 Feb  7 16:55 DISCLAIMER
    -rw-r--r-- 1 escheduler escheduler 18583 Feb  7 16:55 install.sh
    drwxr-xr-x 2 escheduler escheduler 16384 Mar  8 15:15 lib
    -rw-r--r-- 1 escheduler escheduler 41304 Feb  7 16:55 LICENSE
    drwxr-xr-x 3 escheduler escheduler 16384 Feb  7 16:55 licenses
    -rw-r--r-- 1 escheduler escheduler 83680 Feb  7 16:55 NOTICE
    drwxr-xr-x 2 escheduler escheduler  4096 Mar  8 15:15 script
    drwxr-xr-x 4 escheduler escheduler  4096 Mar  8 15:15 sql
    drwxr-xr-x 8 escheduler escheduler  4096 Mar  8 15:15 ui

## 2.3 元数据 ##

### 2.3.1 如果新环境 ###

需要创建 一个元数据库的用户，并创建一个库，例如元数存储选择使用 MySQL，并在 MySQL 中创建 `escheduler` 库，然后执行 `sql/dolphinscheduler_mysql.sql` 下的 sql 脚本。例如环境中有 Beeline 工具，可以这样执行：

beeline -n escheduler -p 123456 -d "com.mysql.jdbc.Driver" \
    -u "jdbc:mysql://cdh1:3306/escheduler?useUnicode=true&characterEncoding=utf8&useSSL=false" \
    --isolation=TRANSACTION_SERIALIZABLE -f sql/dolphinscheduler_mysql.sql

### 2.3.2 如果升级 ###

执行升级之前，需要先配置好 `conf/application.properties` 中关于数据库的配置信息，如果是 MySQL 需要先注释掉 postgre 配置。

# postgre
    #spring.datasource.driver-class-name=org.postgresql.Driver
    #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
    # mysql
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://cdh1:3306/escheduler?characterEncoding=UTF-8
    spring.datasource.username=escheduler
    spring.datasource.password=123456

在接执行升级的脚本之前**需要我们将对应数据库的驱动包下载到 `lib` 下**。执行完毕会提示`upgrade DolphinScheduler success`，脚本会自动更新元数库的数据。

# 下载 mysql 驱动包到 lib/ 下
    wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar -P lib/
    
    # 执行升级脚本
    sh script/upgrade-dolphinscheduler.sh

## 2.4 配置安装脚本 ##

在解压的个目录下编辑修改自动化部署的脚本文件： `vim install.sh`，修改如下的配置项，其它配置可保持默认。

# for example postgresql or mysql ...
    dbtype="mysql"
    
    # db config
    # db address and port
    dbhost="cdh1:3306"
    
    # db name
    dbname="escheduler"
    
    # db username
    username="escheduler"
    
    # db passwprd
    # Note: if there are special characters, please use the \ transfer character to transfer
    passowrd="123456"
    
    # conf/config/install_config.conf config
    # Note: the installation path is not the same as the current path (pwd)
    installPath="/opt/DolphinScheduler/escheduler-backend"
    
    # deployment user
    # Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
    deployUser="escheduler"
    
    # zk cluster
    zkQuorum="cdh1:2181,cdh2:2181,cdh3:2181"
    
    # install hosts
    # Note: install the scheduled hostname list. If it is pseudo-distributed, just write a pseudo-distributed hostname
    ips="cdh2,cdh3"
    
    # run master machine
    # Note: list of hosts hostname for deploying master
    masters="cdh2"
    
    # run worker machine
    # note: list of machine hostnames for deploying workers
    workers="cdh2,cdh3"
    
    # run alert machine
    # note: list of machine hostnames for deploying alert server
    alertServer="cdh2"
    
    # run api machine
    # note: list of machine hostnames for deploying api server
    apiServers="cdh2"
    
    ######### 报警邮箱配置可选，这里以网易云邮箱为例
    # alert config
    # mail protocol
    mailProtocol="SMTP"
    
    # mail server host
    mailServerHost="smtp.163.com"
    
    # mail server port
    mailServerPort="465"
    
    # sender
    mailSender="yuandd_yore@163.com"
    
    # user
    mailUser="yuandd_yore@163.com"
    
    # sender password
    mailPassword="123456"
    
    # download excel path
    xlsFilePath="/home/escheduler/xls"
    
    # resource Center upload and select storage method：HDFS,S3,NONE
    resUploadStartupType="HDFS"
    
    # if resUploadStartupType is HDFS，defaultFS write namenode address，HA you need to put core-site.xml and hdfs-site.xml in the conf directory.
    # if S3，write S3 address，HA，for example ：s3a://dolphinscheduler，
    # Note，s3 be sure to create the root directory /dolphinscheduler
    defaultFS="hdfs://cdh1:8020"
    
    # resourcemanager HA configuration, if it is a single resourcemanager, here is yarnHaIps=""
    yarnHaIps="cdh1"
    
    # if it is a single resourcemanager, you only need to configure one host name. If it is resourcemanager HA, the default configuration is fine.
    singleYarnIp="cdh1"
    
    # hdfs root path, the owner of the root path must be the deployment user. 
    # versions prior to 1.1.0 do not automatically create the hdfs root directory, you need to create it yourself.
    hdfsPath="/escheduler"
    
    # common config
    # Program root path
    programPath="opt/DolphinScheduler/escheduler-backend"
    
    # download path
    downloadPath="/tmp/escheduler/download"
    
    # task execute path
    execPath="/tmp/escheduler/exec"
    
    # zk config
    # zk root directory
    zkRoot="/escheduler"

## 2.5 配置 Nginx ##

DolphinScheduler 前端服务需要 Nginx 服务。

# 1 下载 Nginx 离线安装包
    # 例如下载 Cento7 CPU指令为 x86版本的 
    wget http://nginx.org/packages/mainline/centos/7/x86_64/RPMS/nginx-1.17.6-1.el7.ngx.x86_64.rpm
    
    # 2 安装
    rpm -ivh nginx-1.17.6-1.el7.ngx.x86_64.rpm

修改或添加一个 Nginx 配置文件作为 DolphinScheduler UI 前端的服务。例如有 `/etc/nginx/conf.d/escheduler.conf` ，修改如下，重点配置 `server_name`、`root`、`proxy_pass`，其中 root 就是我们解压的分发包中 `ui/` 的路径。**注意**：在 1.2.1 版本中 ui 的连接由旧版本的 **/escheduler** 改为了 **/dolphinscheduler**。

server { 
        listen       8888;# 访问端口
        server_name  cdh2;
        #charset koi8-r;
        #access_log /var/log/nginx/host.access.log main;
        location / { 
            root   /opt/DolphinScheduler/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin/ui; # 静态文件目录
            index  index.html index.html;
        }
        #location /escheduler { 
        location /dolphinscheduler{ 
            proxy_pass http://cdh2:12345; # 接口地址
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header x_real_ipP $remote_addr;
            proxy_set_header remote_addr $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_http_version 1.1;
            proxy_connect_timeout 300s;
            proxy_read_timeout 300s;
            proxy_send_timeout 300s;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection upgrade;
        }
        #error_page 404 /404.html;
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html { 
            root   /usr/share/nginx/html;
        }
    }

**注意**：这里再重点提下 ui 的路径如何配置（即上面的配置文件中 root 的值）

*  如果是 1.2.0 版本就是你下载的 前端的（Frontend Binary Distribution）二进制包解压包下的 dist 的路径。`/xx/apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-front-bin/dist`。
 *  如果是 1.2.1 版本就是你下载的二进制包（Binary Distribution，因为 这个版本前端和后端合并只有一个包）二进制包解压包下的 ui 的路径。`/xx/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin/ui`。

## 2.6 安装并启动服务 ##

# 执行安装部署脚本，注意是 escheduler 用户执行
    sh ./install.sh
    
    # 启动 Nginx 服务
    systemctl restart nginx

关于服务的其它启停命令

# 1 启停整个集群
    ## 1.1 停止集群所有服务
    sh bin/stop-all.sh
    
    ## 1.2 开启集群所有服务
    sh bin/start-all.sh
    
    
    # 2 启停 Master
    ## 2.1 启动 master 服务
    sh bin/dolphinscheduler-daemon.sh start master-server
    
    ## 2.2 关闭 master 服务
    sh bin/dolphinscheduler-daemon.sh stop master-server
    
    
    # 3 启停 Worker
    ## 3.1 启动 worker 服务
    sh bin/dolphinscheduler-daemon.sh start worker-server
    
    ## 3.2 关闭 worker 服务
    sh bin/dolphinscheduler-daemon.sh stop worker-server
    
    
    # 4 启停 Api
    ## 4.1 启动 Api 服务
    sh bin/dolphinscheduler-daemon.sh start api-server
    
    ## 4.2 关闭 Api 服务
    sh bin/dolphinscheduler-daemon.sh stop api-server
    
    
    # 5 启停 Logger
    ## 5.1 启动 Logger 服务
    sh bin/dolphinscheduler-daemon.sh start logger-server
    
    ## 5.2 关闭 Logger 服务
    sh bin/dolphinscheduler-daemon.sh stop logger-server
    
    
    # 6 启停 Alert
    ## 6.1 启动 Alert 服务
    sh bin/dolphinscheduler-daemon.sh start alert-server
    
    ## 6.2 关闭 Alert 服务
    sh bin/dolphinscheduler-daemon.sh stop alert-server

## 2.7 访问前端页面 ##

在浏览器访问 http://$\{master-ip\}:8888，master-ip 是主节点服务的 ip。访问成功后需要输入用户名和密码，如果是新安装的默认的账号为 **admin/dolphinscheduler123**， 如果是升级后的则沿用旧的账号，例如在 1.1.0 默认的账号为**admin/escheduler123**。

账号验证成功后可以进入页面，如果是升级的，可以查看到原先的项目的信息，点击页头的 **监控中心** 下的 Worker，可以看到集群中所有 Worker 的信息，如下图所示。  
![监控中心 - Worker][- Worker]

# 3 升级/安装 1.3.0 版本 Apache DolphinScheduler #

总体升级或安装类似于 1.2.1 版本。首先需要我们 1.3.0 的安装包，安装包官网还没有连接进行下载，我们可以通过源码编译获取（环境中需要安装 [Node.js][]、 [Maven][]），Maven 最好使用最新版（例如 3.1 版本安装时会报错）。

## 3.1 配置与启动 ##

# 1 获取源码
    git clone https://github.com/apache/incubator-dolphinscheduler.git
    cd incubator-dolphinscheduler
    git tar
    # 或者直接通过下载 1.3.0 源码方式编译
    # 但不建议，因为这个版本创建工作组的入口没有了，具体可以查看 [#2959](https://github.com/apache/incubator-dolphinscheduler/issues/2959)、 [Feature-2815](https://github.com/apache/incubator-dolphinscheduler/pull/2934)
    # wget https://github.com/apache/incubator-dolphinscheduler/archive/1.3.0.tar.gz
    
    # 2 编译
    # 这里直接编译的主分支的代码，大家也可以检出到 1.3.1 进行编译： git checkout 1.3.1
    ## 2.1 生成 rpm 包
    mvn -U clean install -Prpmbuild -Dmaven.test.skip=true -X
    ## 2.2 生成 tar/zip 包
    mvn clean package install -Prelease -Dmaven.test.skip=true
    # mvn package -Prelease -Dmaven.test.skip=true

![编译dolphinscheduler 1.3.0][dolphinscheduler 1.3.0]

# 3 查看编译后的包。
    # 编译成功后的 tar/zip 包在如下目录下
    ls -l dolphinscheduler-dist/target/
    # 编译成功后 rpm 包在如下目录下
    ls -l dolphinscheduler-dist/target/rpm/apache-dolphinscheduler-incubating/RPMS/noarch

![编译后的包路径][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70_pic_center]

通过上面的编译我们成功得到了 DS 的安装包，但是是一个 RPM 包，可以直接执行 `rpm -ivh apache-dolphinscheduler-incubating-1.3.0-1.noarch.rpm` 手动安装，默认会安装到 `/opt/soft/apache-dolphinscheduler-incubating-1.3.0/` 。这里我们在原先 DS 的基础上（路径下）升级安装，因此我们直接解压RPM 包，进行手动配置升级安装，RPM包括是使用cpio格式打包的，因此可以先转成cpio然后解压

# 解压 RPM 包，会在当前目录解压生成 opt/soft/apache-dolphinscheduler-incubating-1.3.0
    rpm2cpio apache-dolphinscheduler-incubating-1.3.0-1.noarch.rpm | cpio -div
    # 将 apache-dolphinscheduler-incubating-1.3.0 拷贝指定目录下，例如 /u01/DolphinScheduler 下

修改元数库信息，例如这里使用 MySQL，与 1.2.1 版本不同的是这里需要修改 `conf/datasource.properties` 配置文件，注释掉 postgre 配置  
添加如下 MySQL 配置。

# postgresql。这是官方推荐 postgresql 配置，使用 MySQL 的将元数据迁移到 postgresql 中
    # spring.datasource.driver-class-name=org.postgresql.Driver
    # spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
    # spring.datasource.username=test
    # spring.datasource.password=test
    
    # mysql
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://cdh1:3306/escheduler?characterEncoding=UTF-8
    spring.datasource.username=escheduler
    spring.datasource.password=123456

添加 MySQL 驱动包，执行升级脚本，更新元数据库中的数据

# 下载 mysql 驱动包到 lib/ 下
    wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar -P lib/
    
    # 执行升级脚本。升级元数据时一定保持元数据表 t_ds_version 的 version 值低于升级的版本，
    sh script/upgrade-dolphinscheduler.sh

升级前可以对 MySQL 库和 安装目录进行提前备份,然后清空旧版本安装目录下的文件，这里将新本的安装目录改为 `/u01/dolphinscheduler`，因此新建这个目录并属组改为 DS 的用户

mkdir /u01/dolphinscheduler
     chown escheduler:escheduler /u01/dolphinscheduler

修改 `conf/config/install_config.conf`，修改内容和 2.4 配置安装脚本 类似，主要参考修改如下，其他可使用默认值。

# NOTICE : If the following config has special characters in the variable `.*[]^${}\+?|()@#&`, Please escape, for example, `[` escape to `\[`
    # postgresql or mysql
    dbtype="mysql"
    
    # db config
    # db address and port
    dbhost="cdh1:3306"
    
    # db username
    username="escheduler"
    
    # database name
    dbname="escheduler"
    
    # db passwprd
    # NOTICE: if there are special characters, please use the \ to escape, for example, `[` escape to `\[`
    password="123456"
    
    # zk cluster
    zkQuorum="cdh1:2181,cdh2:2181,cdh3:2181"
    
    # Note: the target installation path for dolphinscheduler, please not config as the same as the current path (pwd)
    installPath="/u01/dolphinscheduler"
    
    # deployment user
    # Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
    deployUser="escheduler"
    
    # 邮箱配置这里省略 ……
    
    # resource storage type：HDFS,S3,NONE
    resourceStorageType="HDFS"
    
    # if resourceStorageType is HDFS，defaultFS write namenode address，HA you need to put core-site.xml and hdfs-site.xml in the conf directory.
    # if S3，write S3 address，HA，for example ：s3a://dolphinscheduler，
    # Note，s3 be sure to create the root directory /dolphinscheduler
    defaultFS="hdfs://cdh1:8020"
    
    # if resourcemanager HA enable or not use resourcemanager, please skip this value setting; If resourcemanager is single, you only need to replace yarnIp1 to actual resourcemanager hostname.
    singleYarnIp="cdh1"
    
    # resource store on HDFS/S3 path, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions。/dolphinscheduler is recommended
    resourceUploadPath="/escheduler"
    
    # who have permissions to create directory under HDFS/S3 root path
    # Note: if kerberos is enabled, please config hdfsRootUser=
    hdfsRootUser="hdfs"
    
    # api server port
    apiServerPort="12345"
    
    # install hosts
    # Note: install the scheduled hostname list. If it is pseudo-distributed, just write a pseudo-distributed hostname
    ips="cdh2,cdh3"
    
    # run master machine
    # Note: list of hosts hostname for deploying master
    masters="cdh2"
    
    # run worker machine
    # note: need to write the worker group name of each worker, the default value is "default"
    workers="cdh2:cdh2,cdh3:cdh3"
    
    # run alert machine
    # note: list of machine hostnames for deploying alert server
    alertServer="cdh2"
    
    # run api machine
    # note: list of machine hostnames for deploying api server
    apiServers="cdh2"

新版本中添加了DataX 、Sqoop、Conditions 类型的工作流定义，如下图所示。当使用 DataX 时，需要我们修改 `conf/env/dolphinscheduler_env.sh` 脚本中 `export DATAX_HOME=/opt/soft/datax/bin/datax.py`，默认使用 `/opt/soft/datax/bin/datax.py`执行任务，路径配为自己环境中的 DataX 的路径，如果没有需要自己下载（[DataX下载地址][DataX]）解压到环境中。目前 DataX 工作流支持的数据库有 MySQL、PostgreSQL、Oracle、SQLServer。  
![1.3 新增工作流流类型定义][1.3]

Nginx 中修改 8888 资源路径

location / { 
            root   /u01/dolphinscheduler/ui;
            index  index.html index.html;
        }

开始安装

# 执行安装部署脚本，注意是 escheduler 用户执行，
    sh ./install.sh
    
    # 启动 Nginx 服务
    systemctl restart nginx
    
    # 查看后台 java 进程
    ## master 节点有如下进程 
    escheduler@cdh2 apache-dolphinscheduler-incubating-1.3.0]$ jps
    26480 Jps
    23890 LoggerServer
    23781 MasterServer
    23943 AlertServer
    23997 ApiApplicationServer
    23837 WorkerServer
    # Worker 节点有如下进程
    [escheduler@cdh3 escheduler-backend]$ jps
    15427 LoggerServer
    15367 WorkerServer
    19417 Jps

安装完毕后 DS 服务已经启动，如果想重启 DS 服务，可以参考 2.6 安装并启动服务 节中的命令。

## 3.2 资料链接 ##

官方 DolphinScheduler 1.3.1 版本（[1.3.1 Release Notes][]）在 2020-07-13 发布，可以直接[下载][Link 2] [官网提供][Link 3]的二进制包（[apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz][]）进行安装。

*  查看当前部署的 DS 的文档：http://`${MasterServer-IP}`:8888/dolphinscheduler/doc.html、http://`${MasterServer-IP}`:8888/dolphinscheduler/swagger-ui.html
 *  [1.3.1/user\_doc][1.3.1_user_doc]
 *  一份资料 ：[DolphinScheduler\_Feature\_Roadmap.pdf][DolphinScheduler_Feature_Roadmap.pdf]

[Release]: https://github.com/apache/incubator-dolphinscheduler/releases
[Lidong Dai]: http://home.apache.org/phonebook.html?uid=lidongdai
[Easy Scheduler 1.1.0 Release]: https://blog.csdn.net/oDaiLiDong/article/details/98840592
[Apache DolphinScheduler]: https://blog.csdn.net/github_39577257/article/details/102783298
[1245]: https://github.com/apache/incubator-dolphinscheduler/issues/1245
[dailidong]: https://github.com/dailidong
[Apache DolphinScheduler 1.2.1]: https://blog.csdn.net/oDaiLiDong/article/details/104495034
[Link 1]: https://dolphinscheduler.apache.org/zh-cn/docs/1.2.1/user_doc/hardware-environment.html
[Apache Hadoop]: http://hadoop.apache.org/
[Apache Hive]: http://hive.apache.org/
[Apache Spark]: http://spark.apache.org/
[Apache Flink]: https://flink.apache.org/
[apache_incubator_dolphinscheduler]: https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/
[apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz]: https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.2.1/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz
[- Worker]: https://img-blog.csdnimg.cn/20200310050325857.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw==,size_16,color_FFFFFF,t_70
[Node.js]: https://nodejs.org/en/download/current/
[Maven]: https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/
[dolphinscheduler 1.3.0]: https://img-blog.csdnimg.cn/20200622130446998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200708170925482.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw==,size_16,color_FFFFFF,t_70#pic_center
[DataX]: http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
[1.3]: https://img-blog.csdnimg.cn/20200708150151695.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw==,size_16,color_FFFFFF,t_70#pic_center
[1.3.1 Release Notes]: https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.1
[Link 2]: https://www.apache.org/dyn/closer.cgi/incubator/dolphinscheduler
[Link 3]: http://dolphinscheduler.apache.org/zh-cn/docs/release/download.html
[apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz]: https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.1/apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz
[1.3.1_user_doc]: https://dolphinscheduler.apache.org/zh-cn/docs/1.3.1/user_doc/
[DolphinScheduler_Feature_Roadmap.pdf]: https://github.com/apache/incubator-dolphinscheduler-website/blob/master/download/2020-05-26/DolphinScheduler_Feature_Roadmap.pdf