DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系

Posted dajiangtai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系相关的知识,希望对你有一定的参考价值。

注:由于文章篇幅有限,完整文档可扫下面二维码免费获取,更有深受好评的大数据实战精英+架构师好课你。

技术图片

技术图片

DS是什么

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

DolphinScheduler曾用名为“EasyScheduler”,由易观开发,美国时间2019年8月29日,正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为Apache孵化器项目。由于名称已在国外某App使用,经社区讨论与投票后改名为DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。起这个名字就是希望DolphinScheduler像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。

DS官网

https://dolphinscheduler.apache.org/en-us/index.html

技术图片

Azkaban等流行的工作流调度引擎比较

技术图片

谁在使用DS

技术图片

截图欣赏

技术图片技术图片

技术图片

技术图片

技术图片

技术图片

以上是关于DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系的主要内容,如果未能解决你的问题,请参考以下文章

DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系

深入了解海豚调度DolphinScheduler

开源工作流任务调度系统:Apache DolphinScheduler

使用DolphinScheduler调度Python任务

使用DolphinScheduler调度Python任务

工作流调度系统之DolphinScheduler