Apache DolphinScheduler 3.0.6 发布，或将是最后一个 3.0.X 版本

Posted 2023-05-31 海豚调度

 

Apache DolphinScheduler 于近日发布了 3.0.6 版本，主要针对 3.0.5 重要 bug 进行修复。如果之后没有发现重大问题，3.0.6 将会是 3.0.x 最后一个版本。

Bug修复

 

• Master 重新连接 zk 后 slot 没有正常更新 #14014
• 父工作流失败时 subprocess 没有正常结束 #14087

下载地址：https://dolphinscheduler.apache.org/zh-cn/download/3.0.6

Release Note：https://github.com/apache/dolphinscheduler/releases/tag/3.0.6

致谢贡献者

Radeity、fuchanghai

 

参与贡献

 

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。

参与 DolphinScheduler 社区，贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

* 社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689
* 非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
* 如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds)

添加小助手微信时请说明想参与贡献。

来吧，开源社区非常期待您的参与。

Apache DolphinScheduler征稿-DolphinScheduler的入门级教程及案例

本文正在参与“拥开源-Apache DolphinScheduler有奖征稿活动”

---

什么是DolphinScheduler

分布式易扩展的可视化DAG工作流任务调度系统

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

• DolphinScheduler 由 5 个服务组成，MasterServer、WorkerServer、ApiServer、AlertServer、LoggerServer 和 UI。

• MasterServer

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG
任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。
MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。

• WorkerServer

WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。WorkerServer服务启动时向Zookeeper注册临时节点，并维持心跳。

• ZooKeeper

ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。另外系统还基于ZooKeeper进行事件监听和分布式锁。
我们也曾经基于Redis实现过队列，不过我们希望EasyScheduler依赖到的组件尽量地少，所以最后还是去掉了Redis实现。

• Task Queue

提供任务队列的操作，目前队列也是基于Zookeeper来实现。由于队列中存的信息较少，不必担心队列里数据过多的情况，实际上我们压测过百万级数据存队列，对系统稳定性和性能没影响。

• API

API接口层，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。
接口包括工作流的创建、定义、查询、修改、发布、下线、手工启动、停止、暂停、恢复、从该节点开始执行等等。

DolphinScheduler对比其他任务调度系统

DolphinScheduler的优势是什么？

有Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ?

还是有很多大型互联网公司在使用的(联通，奇安信等)，社区还是非常活跃的，属于Apache的顶级开源项目

简单使用案例

官方教程

使用Docker容器构建

1. 请下载源码包 apache-dolphinscheduler-1.3.6-src.tar.gz
2. 拉取镜像并启动服务

$ tar -zxvf apache-dolphinscheduler-1.3.6-src.tar.gz
$ cd apache-dolphinscheduler-1.3.6-src/docker/docker-swarm
$ docker pull apache/dolphinscheduler:latest
$ docker-compose up -d

将会下载postgresql和zookeeper镜像，因为我们指定已存在的；

Status: Downloaded newer image for bitnami/postgresql:latest
Pulling dolphinscheduler-zookeeper (bitnami/zookeeper:latest)...
latest: Pulling from bitnami/zookeeper

PostgreSQL (用户 root, 密码 root, 数据库 dolphinscheduler) 和 ZooKeeper服务将会默认启动

3. 登录系统
   本地地址为 http://127.0.0.1:12345/dolphinscheduler)
   默认的用户是admin，默认的密码是dolphinscheduler123
   

• 指定已存在的 PostgreSQL 和 ZooKeeper 服务

1. 运行一个 DolphinScheduler 实例

$ docker run -d --name dolphinscheduler \\
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \\
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \\
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \\
-p 12345:12345 \\ apache/dolphinscheduler:latest all

注：数据库用户 test 和密码 test 需要替换为实际的 PostgreSQL 用户和密码，192.168.x.x 需要替换为PostgreSQL 和 ZooKeeper 的主机 IP

在容器启动时，会自动启动以下服务：

MasterServer         ----- master服务
WorkerServer         ----- worker服务
LoggerServer         ----- logger服务
ApiApplicationServer ----- api服务
AlertServer          ----- alert服务

本文正在参与“拥开源-Apache DolphinScheduler有奖征稿活动”

---