花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像

Posted 代立冬

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像相关的知识,希望对你有一定的参考价值。

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来 快速试用 DolphinScheduler

官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可。

1、下载源码 zip 包  - 请下载最新版本的源码包并进行解压

# 创建源码存放目录

mkdir -p /opt/soft/dolphinscheduler;

cd /opt/soft/dolphinscheduler;

# 下载源码包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.4/apache-dolphinscheduler-incubating-1.3.4-src.zip

# 解压缩

tar -zxvf apache-dolphinscheduler-incubating-1.3.4-src.zip

mv apache-dolphinscheduler-incubating-1.3.4-src-release  dolphinscheduler-src

2、安装并启动服务

cd dolphinscheduler-src

docker-compose -f ./docker/docker-swarm/docker-compose.yml up -d

3、登录系统   

访问前端界面: http://192.168.xx.xx:8888



然后参考用户手册章节的`快速上手`即可进行使用

怎么样,是不是非常简单?



Apache DolphinScheduler 社区介绍

新一代大数据任务调度 -  Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来,近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号,非常欢迎更多小伙伴加入到贡献队伍中来,为中国的开源崛起贡献自己的一份力

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 3 月开源,8 月进入 Apache 孵化器, 据不完全统计,已有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理流程直观可见”。DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力



Apache 组织崇尚 “社区大于代码”,DolphinScheduler 目前微信用户群近 4000 人,社区目前有  190 + 贡献者,来自 80+ 家公司、机构和高校(部分统计)

部分用户案例

据不完全统计,目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用,以下是部分案例(排名不分先后)

此外,还有 1700+ 用户注册了 demo 试用,欢迎大家先体验,十分欢迎对比哈。

系统部分截图









 



参与贡献

随着国内开源的崛起,DolphinScheduler迎来了蓬勃发展,为了做更好用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表:https://github.com/apache/incubator-dolphinscheduler/issues/4124

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

文档github 地址:https://github.com/apache/incubator-dolphinscheduler-website

 

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

如果您想参与贡献,却发现上述方法都搞不明白,也没关系,我们有个开发者种子孵化群,可以添加微信(easyworkflow) 手把手教会您,添加时请说明想参与贡献哈!

以上是关于花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像的主要内容,如果未能解决你的问题,请参考以下文章

大数据任务调度工具 Apache DolphinScheduler

大数据任务调度工具 Apache DolphinScheduler

大数据任务调度工具 Apache DolphinScheduler

使用部署模式群集的Apache Spark任务中的大调度程序延迟

新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载

新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载