DolphinScheduler1.2.1源码分析

Posted gabry

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DolphinScheduler1.2.1源码分析相关的知识,希望对你有一定的参考价值。

  DolphinScheduler在2020年2月24日发布了新版本1.2.1,从版本号就可以看出,这是一个小版本。主要涉及BUG修复、功能增强、新特性三个方面,我们会根据其发布内容,做简要的源码分析。

  由于涉及内容较多,前端功能不再分析。

Worker Server日志脱敏

  主要是对日志中的密码进行脱敏。我们知道worker的日志是通过logback打印的,官方也就是通过配置conversionRule来实现过滤的。实现逻辑比较简单,核心代码如下:

@Override
    public String convert(ILoggingEvent event) {

        // get original log
        String requestLogMsg = event.getFormattedMessage();

        // desensitization log
        return convertMsg(requestLogMsg);
    }

public static final String DATASOURCE_PASSWORD_REGEX = "(?<=("password":")).*?(?=("))";

  其实就是在打印日志的时候,通过正则表达式,把password给过滤掉了。个人不太喜欢这个实现方式,毕竟原PR的需求就是不要打印调度本身配置的数据源的密码信息,结果官方把所有的日志中的password都给脱敏了!

配置文件适当合并

  这主要是设计配置项的合并,就是把多个配置文件合并成一个,减少配置文件数量。据说后面的版本又要拆开了。

可创建包含 "." 的用户名

  这个主要是修改了用户名校验的正则表达式。

public static final Pattern REGEX_USER_NAME = Pattern.compile("^[a-zA-Z0-9._-]{3,20}$");

可切换 Spark 版本

  主要是解决多spark版本切换的问题。核心代码如下,其实就是根据当前参数选择对应的spark-submit

  private static final String SPARK1_COMMAND = "${SPARK_HOME1}/bin/spark-submit";
  private static final String SPARK2_COMMAND = "${SPARK_HOME2}/bin/spark-submit";

..................
 String sparkCommand = SPARK2_COMMAND;

    if (SparkVersion.SPARK1.name().equals(sparkParameters.getSparkVersion())) {
      sparkCommand = SPARK1_COMMAND;
    }

 

未完待续

 

 

新特性:

  • [#1497] 通过 API 创建的工作流在前端展示时自动调整布局。
  • [#747] Worker server 运行日志脱敏。
  • [#1635] 配置文件适当合并。
  • [#1547] 节点内容编辑支持全屏缩放。

增强:

  • [#184] 被工作流引用的 worker 不能被删除。
  • [#1441] 可创建包含 "." 的用户名。
  • [#839] 可切换 Spark 版本。
  • [#1511] 前后端编译文件合并。
  • [#1509] 去除 Master 和 Worker 监听端口(5566,7788)。
  • [#1575] 去除 kazoo ,简化部署。
  • [#1300] 邮件内容可右对齐。
  • [#1599] 增加前端部署的 nginx 配置文件。
  • 支持 Mac 进行开发和 debug。

Bug 修复:

  • 特定情况下弹出框不能关闭。
  • [#1399] 日志信息中字段顺序错误。
  • [#1379] sql 任务节点日期转换错误。
  • [#1477] 特定情况下,数据库延迟的时候,任务会一直执行。
  • [#1514] 队列关联用户后修改队列信息,新修改的队列信息未保存到数据库。
  • [#1768] 用户管理分页错误
  • [#1770] 用户取消租户关联后,仍能使用原租户 hdfs 的资源。
  • [#1779] 子进程失败后仍显示成功。
  • [#1789] 通过任务实例页面查看任务执行历史显示错误。
  • [#1810] 特定情况下,依赖节点不显示具体依赖。
  • [#1816] 添加多个依赖后,再添加新的依赖时,依赖列表读取错误。
  • [#1828] UDF 授权后,UDF 文件路径授权错误。

  

以上是关于DolphinScheduler1.2.1源码分析的主要内容,如果未能解决你的问题,请参考以下文章

Mesos源码分析

Mybatis源码分析

Spring源码分析专题——目录

ARouter源码分析

Handler源码分析

Eureka源码分析(六) TimedSupervisorTask