Apache DolphinScheduler 3.0.6 发布,或将是最后一个 3.0.X 版本

Posted 海豚调度

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Apache DolphinScheduler 3.0.6 发布,或将是最后一个 3.0.X 版本相关的知识,希望对你有一定的参考价值。

 

Apache DolphinScheduler 于近日发布了 3.0.6 版本,主要针对 3.0.5 重要 bug 进行修复。如果之后没有发现重大问题,3.0.6 将会是 3.0.x 最后一个版本。

Bug修复

 

  • Master 重新连接 zk 后 slot 没有正常更新 #14014
  • 父工作流失败时 subprocess 没有正常结束 #14087

下载地址:https://dolphinscheduler.apache.org/zh-cn/download/3.0.6

Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.0.6

致谢贡献者


Radeity、fuchanghai

 

参与贡献

 

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区,贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

* 社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
* 非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
* 如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds)

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

Apache DolphinScheduler征稿-DolphinScheduler的入门级教程及案例

本文正在参与“拥开源-Apache DolphinScheduler有奖征稿活动”


什么是DolphinScheduler

分布式易扩展的可视化DAG工作流任务调度系统

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

  • DolphinScheduler 由 5 个服务组成,MasterServer、WorkerServer、ApiServer、AlertServer、LoggerServer 和 UI。

  • MasterServer

MasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG
任务切分、任务提交监控,并同时监听其它MasterServer和WorkerServer的健康状态。
MasterServer服务启动时向Zookeeper注册临时节点,通过监听Zookeeper临时节点变化来进行容错处理。

  • WorkerServer

WorkerServer也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。WorkerServer服务启动时向Zookeeper注册临时节点,并维持心跳。

  • ZooKeeper

ZooKeeper服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。另外系统还基于ZooKeeper进行事件监听和分布式锁。
我们也曾经基于Redis实现过队列,不过我们希望EasyScheduler依赖到的组件尽量地少,所以最后还是去掉了Redis实现。

  • Task Queue

提供任务队列的操作,目前队列也是基于Zookeeper来实现。由于队列中存的信息较少,不必担心队列里数据过多的情况,实际上我们压测过百万级数据存队列,对系统稳定性和性能没影响。

  • API

API接口层,主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。
接口包括工作流的创建、定义、查询、修改、发布、下线、手工启动、停止、暂停、恢复、从该节点开始执行等等。

DolphinScheduler对比其他任务调度系统

DolphinScheduler的优势是什么?

有Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ?

还是有很多大型互联网公司在使用的(联通,奇安信等),社区还是非常活跃的,属于Apache的顶级开源项目

简单使用案例

官方教程

使用Docker容器构建
  1. 请下载源码包 apache-dolphinscheduler-1.3.6-src.tar.gz
  2. 拉取镜像并启动服务
$ tar -zxvf apache-dolphinscheduler-1.3.6-src.tar.gz
$ cd apache-dolphinscheduler-1.3.6-src/docker/docker-swarm
$ docker pull apache/dolphinscheduler:latest
$ docker-compose up -d

将会下载postgresql和zookeeper镜像,因为我们指定已存在的;

Status: Downloaded newer image for bitnami/postgresql:latest
Pulling dolphinscheduler-zookeeper (bitnami/zookeeper:latest)...
latest: Pulling from bitnami/zookeeper

PostgreSQL (用户 root, 密码 root, 数据库 dolphinscheduler) 和 ZooKeeper服务将会默认启动

  1. 登录系统
    本地地址为 http://127.0.0.1:12345/dolphinscheduler)
    默认的用户是admin,默认的密码是dolphinscheduler123
  • 指定已存在的 PostgreSQL 和 ZooKeeper 服务
  1. 运行一个 DolphinScheduler 实例
$ docker run -d --name dolphinscheduler \\
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \\
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \\
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \\
-p 12345:12345 \\ apache/dolphinscheduler:latest all

注:数据库用户 test 和密码 test 需要替换为实际的 PostgreSQL 用户和密码,192.168.x.x 需要替换为PostgreSQL 和 ZooKeeper 的主机 IP

在容器启动时,会自动启动以下服务:

MasterServer         ----- master服务
WorkerServer         ----- worker服务
LoggerServer         ----- logger服务
ApiApplicationServer ----- api服务
AlertServer          ----- alert服务

本文正在参与“拥开源-Apache DolphinScheduler有奖征稿活动”


以上是关于Apache DolphinScheduler 3.0.6 发布,或将是最后一个 3.0.X 版本的主要内容,如果未能解决你的问题,请参考以下文章

Apache DolphinScheduler 3.0 正式版重磅发布

Apache DolphinScheduler 3.0 正式版重磅发布

Apache DolphinScheduler 3.0 正式版重磅发布

Apache DolphinScheduler 3.0 正式版重磅发布

Apache DolphinScheduler征稿 — Apache DolphinScheduler 快速入门与部署

一文读懂,硬核 Apache DolphinScheduler3.0 源码解析