Dolphinscheduler 1.3.x 系列配置文件构梳理

Dear 丶 2023-02-25 12:22 1阅读 0赞

# 前言 #

本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.

# 目录结构 #

目前dolphinscheduler 所有的配置文件都在 \[conf \] 目录中.  
为了更直观的了解\[conf\]目录所在的位置以及包含的配置文件,请查看下面dolphinscheduler安装目录的简化说明.  
本文主要讲述dolphinscheduler的配置文件.其他部分先不做赘述.

\[注:以下 dolphinscheduler 简称为DS.\]

├─bin                               DS命令存放目录
    │  ├─dolphinscheduler-daemon.sh         启动/关闭DS服务脚本
    │  ├─start-all.sh                       根据配置文件启动所有DS服务
    │  ├─stop-all.sh                        根据配置文件关闭所有DS服务
    ├─conf                              配置文件目录
    │  ├─application-api.properties         api服务配置文件
    │  ├─datasource.properties              数据库配置文件
    │  ├─zookeeper.properties               zookeeper配置文件
    │  ├─master.properties                  master服务配置文件
    │  ├─worker.properties                  worker服务配置文件
    │  ├─quartz.properties                  quartz服务配置文件
    │  ├─common.properties                  公共服务[存储]配置文件
    │  ├─alert.properties                   alert服务配置文件
    │  ├─config                             环境变量配置文件夹
    │      ├─install_config.conf                DS环境变量配置脚本[用于DS安装/启动]
    │  ├─env                                运行脚本环境变量配置目录
    │      ├─dolphinscheduler_env.sh            运行脚本加载环境变量配置文件[如: JAVA_HOME,HADOOP_HOME, HIVE_HOME ...]
    │  ├─org                                mybatis mapper文件目录
    │  ├─i18n                               i18n配置文件目录
    │  ├─logback-api.xml                    api服务日志配置文件
    │  ├─logback-master.xml                 master服务日志配置文件
    │  ├─logback-worker.xml                 worker服务日志配置文件
    │  ├─logback-alert.xml                  alert服务日志配置文件
    ├─sql                               DS的元数据创建升级sql文件
    │  ├─create                             创建SQL脚本目录
    │  ├─upgrade                            升级SQL脚本目录
    │  ├─dolphinscheduler-postgre.sql       postgre数据库初始化脚本
    │  ├─dolphinscheduler_mysql.sql         mysql数据库初始化版本
    │  ├─soft_version                       当前DS版本标识文件
    ├─script                            DS服务部署,数据库创建/升级脚本目录
    │  ├─create-dolphinscheduler.sh         DS数据库初始化脚本      
    │  ├─upgrade-dolphinscheduler.sh        DS数据库升级脚本                
    │  ├─monitor-server.sh                  DS服务监控启动脚本               
    │  ├─scp-hosts.sh                       安装文件传输脚本                                                    
    │  ├─remove-zk-node.sh                  清理zookeeper缓存文件脚本       
    ├─ui                                前端WEB资源目录
    ├─lib                               DS依赖的jar存放目录
    ├─install.sh                        自动安装DS服务脚本

# 配置文件详解 #

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>服务分类</th> 
   <th>配置文件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>启动/关闭DS服务脚本</td> 
   <td>dolphinscheduler-daemon.sh</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>数据库连接配置</td> 
   <td>datasource.properties</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>zookeeper连接配置</td> 
   <td>zookeeper.properties</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>公共[存储]配置</td> 
   <td>common.properties</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>API服务配置</td> 
   <td>application-api.properties</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>Master服务配置</td> 
   <td>master.properties</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>Worker服务配置</td> 
   <td>worker.properties</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>Alert 服务配置</td> 
   <td>alert.properties</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>Quartz配置</td> 
   <td>quartz.properties</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>DS环境变量配置脚本[用于DS安装/启动]</td> 
   <td>install_config.conf</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>运行脚本加载环境变量配置文件 <br>[如: JAVA_HOME,HADOOP_HOME, HIVE_HOME …</td> 
   <td>dolphinscheduler_env.sh</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>各服务日志配置文件</td> 
   <td>api服务日志配置文件 : logback-api.xml <br> master服务日志配置文件 : logback-master.xml <br> worker服务日志配置文件 : logback-worker.xml <br> alert服务日志配置文件 : logback-alert.xml</td> 
  </tr> 
 </tbody> 
</table>

## 1.dolphinscheduler-daemon.sh \[启动/关闭DS服务脚本\] ##

dolphinscheduler-daemon.sh脚本负责DS的启动&关闭.  
start-all.sh/stop-all.sh最终也是通过dolphinscheduler-daemon.sh对集群进行启动/关闭操作.  
目前DS只是做了一个基本的设置,JVM参数请根据各自资源的实际情况自行设置.

默认简化参数如下:

export DOLPHINSCHEDULER_OPTS=" -server -Xmx16g -Xms1g -Xss512k -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 "

> 不建议设置"-XX:DisableExplicitGC" , DS使用Netty进行通讯,设置该参数,可能会导致内存泄漏.

## 2.datasource.properties \[数据库连接\] ##

在DS中使用Druid对数据库连接进行管理,默认简化配置如下.

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>spring.datasource.driver-class-name</td> 
   <td></td> 
   <td>数据库驱动</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.url</td> 
   <td></td> 
   <td>数据库连接地址</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.username</td> 
   <td></td> 
   <td>数据库用户名</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.password</td> 
   <td></td> 
   <td>数据库密码</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.initialSize</td> 
   <td>5</td> 
   <td>初始连接池数量</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.minIdle</td> 
   <td>5</td> 
   <td>最小连接池数量</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.maxActive</td> 
   <td>5</td> 
   <td>最大连接池数量</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.maxWait</td> 
   <td>60000</td> 
   <td>最大等待时长</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.timeBetweenEvictionRunsMillis</td> 
   <td>60000</td> 
   <td>连接检测周期</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.timeBetweenConnectErrorMillis</td> 
   <td>60000</td> 
   <td>重试间隔</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.minEvictableIdleTimeMillis</td> 
   <td>300000</td> 
   <td>连接保持空闲而不被驱逐的最小时间</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.validationQuery</td> 
   <td>SELECT 1</td> 
   <td>检测连接是否有效的sql</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.validationQueryTimeout</td> 
   <td>3</td> 
   <td>检测连接是否有效的超时时间[seconds]</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.testWhileIdle</td> 
   <td>true</td> 
   <td>申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.testOnBorrow</td> 
   <td>true</td> 
   <td>申请连接时执行validationQuery检测连接是否有效</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.testOnReturn</td> 
   <td>false</td> 
   <td>归还连接时执行validationQuery检测连接是否有效</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.defaultAutoCommit</td> 
   <td>true</td> 
   <td>是否开启自动提交</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.keepAlive</td> 
   <td>true</td> 
   <td>连接池中的minIdle数量以内的连接，空闲时间超过minEvictableIdleTimeMillis，则会执行keepAlive操作。</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.poolPreparedStatements</td> 
   <td>true</td> 
   <td>开启PSCache</td> 
  </tr> 
  <tr> 
   <td>spring.datasource.maxPoolPreparedStatementPerConnectionSize</td> 
   <td>20</td> 
   <td>要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。</td> 
  </tr> 
 </tbody> 
</table>

## 3.zookeeper.properties \[zookeeper连接配置\] ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zookeeper.quorum</td> 
   <td>localhost:2181</td> 
   <td>zk集群连接信息</td> 
  </tr> 
  <tr> 
   <td>zookeeper.dolphinscheduler.root</td> 
   <td>/dolphinscheduler</td> 
   <td>DS在zookeeper存储根目录</td> 
  </tr> 
  <tr> 
   <td>zookeeper.session.timeout</td> 
   <td>60000</td> 
   <td>session 超时</td> 
  </tr> 
  <tr> 
   <td>zookeeper.connection.timeout</td> 
   <td>30000</td> 
   <td>连接超时</td> 
  </tr> 
  <tr> 
   <td>zookeeper.retry.base.sleep</td> 
   <td>100</td> 
   <td>基本重试时间差</td> 
  </tr> 
  <tr> 
   <td>zookeeper.retry.max.sleep</td> 
   <td>30000</td> 
   <td>最大重试时间</td> 
  </tr> 
  <tr> 
   <td>zookeeper.retry.maxtime</td> 
   <td>10</td> 
   <td>最大重试次数</td> 
  </tr> 
 </tbody> 
</table>

## 4.common.properties \[hadoop、s3、yarn配置\] ##

common.properties配置文件目前主要是配置hadoop/s3a相关的配置.

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>resource.storage.type</td> 
   <td>NONE</td> 
   <td>资源文件存储类型: HDFS,S3,NONE</td> 
  </tr> 
  <tr> 
   <td>resource.upload.path</td> 
   <td>/dolphinscheduler</td> 
   <td>资源文件存储路径</td> 
  </tr> 
  <tr> 
   <td>data.basedir.path</td> 
   <td>/tmp/dolphinscheduler</td> 
   <td>本地工作目录,用于存放临时文件</td> 
  </tr> 
  <tr> 
   <td>hadoop.security.authentication.startup.state</td> 
   <td>false</td> 
   <td>hadoop是否开启kerberos权限</td> 
  </tr> 
  <tr> 
   <td>java.security.krb5.conf.path</td> 
   <td>/opt/krb5.conf</td> 
   <td>kerberos配置目录</td> 
  </tr> 
  <tr> 
   <td>login.user.keytab.username</td> 
   <td>hdfs-mycluster@ESZ.COM</td> 
   <td>kerberos登录用户</td> 
  </tr> 
  <tr> 
   <td>login.user.keytab.path</td> 
   <td>/opt/hdfs.headless.keytab</td> 
   <td>kerberos登录用户keytab</td> 
  </tr> 
  <tr> 
   <td>resource.view.suffixs</td> 
   <td>txt,log,sh,conf,cfg,py,java,sql,hql,xml,properties</td> 
   <td>资源中心支持的文件格式</td> 
  </tr> 
  <tr> 
   <td>hdfs.root.user</td> 
   <td>hdfs</td> 
   <td>如果存储类型为HDFS,需要配置拥有对应操作权限的用户</td> 
  </tr> 
  <tr> 
   <td>fs.defaultFS</td> 
   <td>hdfs://mycluster:8020</td> 
   <td>请求地址如果resource.storage.type=S3 ,该值类似为: s3a://dolphinscheduler. 如果resource.storage.type=HDFS, 如果 hadoop 配置了 HA ,需要复制core-site.xml 和 hdfs-site.xml 文件到conf目录</td> 
  </tr> 
  <tr> 
   <td>fs.s3a.endpoint</td> 
   <td></td> 
   <td>s3 endpoint地址</td> 
  </tr> 
  <tr> 
   <td>fs.s3a.access.key</td> 
   <td></td> 
   <td>s3 access key</td> 
  </tr> 
  <tr> 
   <td>fs.s3a.secret.key</td> 
   <td></td> 
   <td>s3 secret key</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.rm.ids</td> 
   <td></td> 
   <td>yarn resourcemanager 地址, 如果resourcemanager开启了HA, 输入HA的IP地址(以逗号分隔),如果resourcemanager为单节点, 该值为空即可.</td> 
  </tr> 
  <tr> 
   <td>yarn.application.status.address</td> 
   <td>http://ds1:8088/ws/v1/cluster/apps/%s</td> 
   <td>如果resourcemanager开启了HA或者没有使用resourcemanager,保持默认值即可. 如果resourcemanager为单节点,你需要将ds1 配置为resourcemanager对应的hostname</td> 
  </tr> 
  <tr> 
   <td>dolphinscheduler.env.path</td> 
   <td>env/dolphinscheduler_env.sh</td> 
   <td>运行脚本加载环境变量配置文件[如: JAVA_HOME,HADOOP_HOME, HIVE_HOME …]</td> 
  </tr> 
  <tr> 
   <td>development.state</td> 
   <td>false</td> 
   <td>是否处于开发模式</td> 
  </tr> 
  <tr> 
   <td>kerberos.expire.time</td> 
   <td>7</td> 
   <td>kerberos过期时间 [小时]</td> 
  </tr> 
 </tbody> 
</table>

## 5.application-api.properties \[API服务配置\] ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>server.port</td> 
   <td>12345</td> 
   <td>api服务通讯端口</td> 
  </tr> 
  <tr> 
   <td>server.servlet.session.timeout</td> 
   <td>7200</td> 
   <td>session超时时间</td> 
  </tr> 
  <tr> 
   <td>server.servlet.context-path</td> 
   <td>/dolphinscheduler</td> 
   <td>请求路径</td> 
  </tr> 
  <tr> 
   <td>spring.servlet.multipart.max-file-size</td> 
   <td>1024MB</td> 
   <td>最大上传文件大小</td> 
  </tr> 
  <tr> 
   <td>spring.servlet.multipart.max-request-size</td> 
   <td>1024MB</td> 
   <td>最大请求大小</td> 
  </tr> 
  <tr> 
   <td>server.jetty.max-http-post-size</td> 
   <td>5000000</td> 
   <td>jetty服务最大发送请求大小</td> 
  </tr> 
  <tr> 
   <td>spring.messages.encoding</td> 
   <td>UTF-8</td> 
   <td>请求编码</td> 
  </tr> 
  <tr> 
   <td>spring.jackson.time-zone</td> 
   <td>GMT+8</td> 
   <td>设置时区</td> 
  </tr> 
  <tr> 
   <td>spring.messages.basename</td> 
   <td>i18n/messages</td> 
   <td>i18n配置</td> 
  </tr> 
  <tr> 
   <td>security.authentication.type</td> 
   <td>PASSWORD</td> 
   <td>权限校验类型</td> 
  </tr> 
 </tbody> 
</table>

## 6.master.properties \[Master服务配置\] ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master.listen.port</td> 
   <td>5678</td> 
   <td>master通讯端口</td> 
  </tr> 
  <tr> 
   <td>master.exec.threads</td> 
   <td>100</td> 
   <td>工作线程数量</td> 
  </tr> 
  <tr> 
   <td>master.exec.task.num</td> 
   <td>20</td> 
   <td>并行任务数量</td> 
  </tr> 
  <tr> 
   <td>master.dispatch.task.num</td> 
   <td>3</td> 
   <td>分发任务数量</td> 
  </tr> 
  <tr> 
   <td>master.heartbeat.interval</td> 
   <td>10</td> 
   <td>心跳间隔</td> 
  </tr> 
  <tr> 
   <td>master.task.commit.retryTimes</td> 
   <td>5</td> 
   <td>任务重试次数</td> 
  </tr> 
  <tr> 
   <td>master.task.commit.interval</td> 
   <td>1000</td> 
   <td>任务提交间隔</td> 
  </tr> 
  <tr> 
   <td>master.max.cpuload.avg</td> 
   <td>-1</td> 
   <td>cpu小于该配置时,master 服务才能工作.默认值为-1 : cpu cores * 2</td> 
  </tr> 
  <tr> 
   <td>master.reserved.memory</td> 
   <td>0.3</td> 
   <td>内存阈值限制,可用内存大于该值,master 服务才能工作.</td> 
  </tr> 
 </tbody> 
</table>

## 7.worker.properties \[Worker服务配置\] ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>worker.listen.port</td> 
   <td>1234</td> 
   <td>worker通讯端口</td> 
  </tr> 
  <tr> 
   <td>worker.exec.threads</td> 
   <td>100</td> 
   <td>工作线程数量</td> 
  </tr> 
  <tr> 
   <td>worker.heartbeat.interval</td> 
   <td>10</td> 
   <td>心跳间隔</td> 
  </tr> 
  <tr> 
   <td>worker.max.cpuload.avg</td> 
   <td>-1</td> 
   <td>cpu小于该配置时,worker 服务才能工作. 默认值为-1 : cpu cores * 2</td> 
  </tr> 
  <tr> 
   <td>worker.reserved.memory</td> 
   <td>0.3</td> 
   <td>内存阈值限制,可用内存大于该值,worker 服务才能工作.</td> 
  </tr> 
  <tr> 
   <td>worker.group</td> 
   <td>default</td> 
   <td>workgroup分组配置. <br> worker启动时会根据该配置自动加入对应的分组.</td> 
  </tr> 
 </tbody> 
</table>

## 8.alert.properties \[Alert 告警服务配置\] ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>alert.type</td> 
   <td>EMAIL</td> 
   <td>告警类型</td> 
  </tr> 
  <tr> 
   <td>mail.protocol</td> 
   <td>SMTP</td> 
   <td>邮件服务器协议</td> 
  </tr> 
  <tr> 
   <td>mail.server.host</td> 
   <td>xxx.xxx.com</td> 
   <td>邮件服务器地址</td> 
  </tr> 
  <tr> 
   <td>mail.server.port</td> 
   <td>25</td> 
   <td>邮件服务器端口</td> 
  </tr> 
  <tr> 
   <td>mail.sender</td> 
   <td>xxx@xxx.com</td> 
   <td>发送人邮箱</td> 
  </tr> 
  <tr> 
   <td>mail.user</td> 
   <td>xxx@xxx.com</td> 
   <td>发送人邮箱名称</td> 
  </tr> 
  <tr> 
   <td>mail.passwd</td> 
   <td>111111</td> 
   <td>发送人邮箱密码</td> 
  </tr> 
  <tr> 
   <td>mail.smtp.starttls.enable</td> 
   <td>true</td> 
   <td>邮箱是否开启tls</td> 
  </tr> 
  <tr> 
   <td>mail.smtp.ssl.enable</td> 
   <td>false</td> 
   <td>邮箱是否开启ssl</td> 
  </tr> 
  <tr> 
   <td>mail.smtp.ssl.trust</td> 
   <td>xxx.xxx.com</td> 
   <td>邮箱ssl白名单</td> 
  </tr> 
  <tr> 
   <td>xls.file.path</td> 
   <td>/tmp/xls</td> 
   <td>邮箱附件临时工作目录</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>以下为企业微信配置[选填]</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.enable</td> 
   <td>false</td> 
   <td>企业微信是否启用</td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.corp.id</td> 
   <td>xxxxxxx</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.secret</td> 
   <td>xxxxxxx</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.agent.id</td> 
   <td>xxxxxxx</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.users</td> 
   <td>xxxxxxx</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.token.url</td> 
   <td>https://qyapi.weixin.qq.com/cgi-bin/gettoken? <br> corpid=<span>KaTeX parse error: Expected 'EOF', got '&amp;' at position 7: corpId&amp;̲corpsecret=</span>secret</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.push.url</td> 
   <td>https://qyapi.weixin.qq.com/cgi-bin/message/send? <br> access_token=$token</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.user.send.msg</td> 
   <td></td> 
   <td>发送消息格式</td> 
  </tr> 
  <tr> 
   <td>enterprise.wechat.team.send.msg</td> 
   <td></td> 
   <td>群发消息格式</td> 
  </tr> 
  <tr> 
   <td>plugin.dir</td> 
   <td>/Users/xx/your/path/to/plugin/dir</td> 
   <td>插件目录</td> 
  </tr> 
 </tbody> 
</table>

## 9.quartz.properties \[Quartz配置\] ##

这里面主要是quartz配置,请结合实际业务场景&资源进行配置,本文暂时不做展开.

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>org.quartz.jobStore.driverDelegateClass</td> 
   <td>org.quartz.impl.jdbcjobstore.StdJDBCDelegate</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.driverDelegateClass</td> 
   <td>org.quartz.impl.jdbcjobstore.PostgreSQLDelegate</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.scheduler.instanceName</td> 
   <td>DolphinScheduler</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.scheduler.instanceId</td> 
   <td>AUTO</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.scheduler.makeSchedulerThreadDaemon</td> 
   <td>true</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.useProperties</td> 
   <td>false</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.threadPool.class</td> 
   <td>org.quartz.simpl.SimpleThreadPool</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.threadPool.makeThreadsDaemons</td> 
   <td>true</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.threadPool.threadCount</td> 
   <td>25</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.threadPool.threadPriority</td> 
   <td>5</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.class</td> 
   <td>org.quartz.impl.jdbcjobstore.JobStoreTX</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.tablePrefix</td> 
   <td>QRTZ_</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.isClustered</td> 
   <td>true</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.misfireThreshold</td> 
   <td>60000</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.clusterCheckinInterval</td> 
   <td>5000</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.acquireTriggersWithinLock</td> 
   <td>true</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.jobStore.dataSource</td> 
   <td>myDs</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>org.quartz.dataSource.myDs.connectionProvider.class</td> 
   <td>org.apache.dolphinscheduler.service.quartz.DruidConnectionProvider</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 10.install\_config.conf \[DS环境变量配置脚本\[用于DS安装/启动\]\] ##

install\_config.conf这个配置文件比较繁琐,这个文件主要有两个地方会用到.

*  1.DS集群的自动安装.

> 调用install.sh脚本会自动加载该文件中的配置.并根据该文件中的内容自动配置上述的配置文件中的内容.  
> 比如:dolphinscheduler-daemon.sh、datasource.properties、zookeeper.properties、common.properties、application-api.properties、master.properties、worker.properties、alert.properties、quartz.properties 等文件.

*  2.DS集群的启动&关闭.

> DS集群在启动&关闭的时候,会加载该配置文件中的masters,workers,alertServer,apiServers等参数,启动/关闭DS集群.

文件内容如下:

# 注意: 该配置文件中如果包含特殊字符,如: `.*[]^${}\+?|()@#&`, 请转义,
    # 示例: `[` 转义为 `\[`
    
    # 数据库类型, 目前仅支持 postgresql 或者 mysql
    dbtype="mysql"
    
    # 数据库 地址 & 端口
    dbhost="192.168.xx.xx:3306"
    
    # 数据库 名称
    dbname="dolphinscheduler"
    
    
    # 数据库 用户名
    username="xx"
    
    # 数据库 密码
    password="xx"
    
    # Zookeeper地址
    zkQuorum="192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181"
    
    # 将DS安装到哪个目录，如: /data1_1T/dolphinscheduler，
    installPath="/data1_1T/dolphinscheduler"
    
    # 使用哪个用户部署
    # 注意: 部署用户需要sudo 权限, 并且可以操作 hdfs .
    # 如果使用hdfs的话,根目录必须使用该用户进行创建.否则会有权限相关的问题.
    deployUser="dolphinscheduler"
    
    
    # 以下为告警服务配置
    # 邮件服务器地址
    mailServerHost="smtp.exmail.qq.com"
    
    # 邮件服务器 端口
    mailServerPort="25"
    
    # 发送者
    mailSender="xxxxxxxxxx"
    
    # 发送用户
    mailUser="xxxxxxxxxx"
    
    # 邮箱密码
    mailPassword="xxxxxxxxxx"
    
    # TLS协议的邮箱设置为true，否则设置为false
    starttlsEnable="true"
    
    # 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
    sslEnable="false"
    
    # 邮件服务地址值，同 mailServerHost
    sslTrust="smtp.exmail.qq.com"
    
    #业务用到的比如sql等资源文件上传到哪里，可以设置：HDFS,S3,NONE。如果想上传到HDFS，请配置为HDFS；如果不需要资源上传功能请选择NONE。
    resourceStorageType="NONE"
    
    # if S3，write S3 address，HA，for example ：s3a://dolphinscheduler，
    # Note，s3 be sure to create the root directory /dolphinscheduler
    defaultFS="hdfs://mycluster:8020"
    
    # 如果resourceStorageType 为S3 需要配置的参数如下:
    s3Endpoint="http://192.168.xx.xx:9010"
    s3AccessKey="xxxxxxxxxx"
    s3SecretKey="xxxxxxxxxx"
    
    # 如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx"，否则如果是单ResourceManager或者根本没用到yarn,请配置yarnHaIps=""即可，如果没用到yarn，配置为""
    yarnHaIps="192.168.xx.xx,192.168.xx.xx"
    
    # 如果是单ResourceManager，则配置为ResourceManager节点ip或主机名，否则保持默认值即可。
    singleYarnIp="yarnIp1"
    
    # 资源文件在 HDFS/S3 存储路径
    resourceUploadPath="/dolphinscheduler"
    
    
    # HDFS/S3 操作用户
    hdfsRootUser="hdfs"
    
    # 以下为 kerberos 配置
    
    # kerberos是否开启
    kerberosStartUp="false"
    # kdc krb5 config file path
    krb5ConfPath="$installPath/conf/krb5.conf"
    # keytab username
    keytabUserName="hdfs-mycluster@ESZ.COM"
    # username keytab path
    keytabPath="$installPath/conf/hdfs.headless.keytab"
    
    
    # api 服务端口
    apiServerPort="12345"
    
    
    # 部署DS的所有主机hostname
    ips="ds1,ds2,ds3,ds4,ds5"
    
    # ssh 端口 , 默认 22
    sshPort="22"
    
    # 部署master服务主机
    masters="ds1,ds2"
    
    # 部署 worker服务的主机
    # 注意: 每一个worker都需要设置一个worker 分组的名称,默认值为 "default"
    workers="ds1:default,ds2:default,ds3:default,ds4:default,ds5:default"
    
    # 部署alert服务主机
    alertServer="ds3"
    
    # 部署api服务主机 
    apiServers="ds1"

## 11.dolphinscheduler\_env.sh \[环境变量配置\] ##

通过类似shell方式提交任务的的时候,会加载该配置文件中的环境变量到主机中.  
涉及到的任务类型有: Shell任务、Python任务、Spark任务、Flink任务、Datax任务等等

export HADOOP_HOME=/opt/soft/hadoop
    export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
    export SPARK_HOME1=/opt/soft/spark1
    export SPARK_HOME2=/opt/soft/spark2
    export PYTHON_HOME=/opt/soft/python
    export JAVA_HOME=/opt/soft/java
    export HIVE_HOME=/opt/soft/hive
    export FLINK_HOME=/opt/soft/flink
    export DATAX_HOME=/opt/soft/datax/bin/datax.py
    
    export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH

## 12.各服务日志配置文件 ##

<table> 
 <thead> 
  <tr> 
   <th>对应服务服务名成</th> 
   <th>日志文件名</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>api服务日志配置文件</td> 
   <td>logback-api.xml</td> 
  </tr> 
  <tr> 
   <td>master服务日志配置文件</td> 
   <td>logback-master.xml</td> 
  </tr> 
  <tr> 
   <td>worker服务日志配置文件</td> 
   <td>logback-worker.xml</td> 
  </tr> 
  <tr> 
   <td>alert服务日志配置文件</td> 
   <td>logback-alert.xml</td> 
  </tr> 
 </tbody> 
</table>