Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统

Posted 2021-07-06 Data-Mining

 目录

前言

正文

        一、部署方式

        二、软硬件要求

        三、下载源码包

        四、拉取镜像

        五、启动服务 

        六、登陆系统

        七、首页展示

        八、项目管理

        ​九、资源管理中心

        十、监控中心

        十一、安全中心

最后

---

前言

Apache DolphinScheduler（海豚调度），是一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，并监控整个数据处理过程”。它能够实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。

正文

Apache DolphinScheduler 作为一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统，现在具备广泛的热度，在github上有6000星标记。今天我们就来了解一下这个开源的分布式调度系统。

一、部署方式

海豚调度常用的部署方式有五种，分别是单机部署、集群部署、Docker部署、Kubernetes部署、SkyWalking-Agent部署。Apache DolphinScheduler 之前的名字是 Easy Scheduler，它和同类调度系统的对比图如下：

二、软硬件要求

今天我们重点介绍使用Docker部署海豚调度的方式，软件要求使用Docker 1.13.1+、Docker Compose 1.11.0+。

三、下载源码包

登陆网址：https://dolphinscheduler.apache.org/zh-cn/download/download.html

这里我们选择下载源码，具体条目如下图所示：

当然，我们也可以下载对应bin包，可以跳转到如下页面进行下载操作。

四、拉取镜像

对于不同的操作系统，具体的操作步骤还不太一样，具体情况可以参考如下说明。

如果是 Mac 和 Linux 用户，打开 Terminal。如果是 Windows Docker Toolbox 用户，打开 Docker Quickstart Terminal。如果是 Windows Docker Desktop 用户，打开 Windows PowerShell。

解压上一步下载的源码压缩包，具体命令如下：

tar -zxvf apache-dolphinscheduler-1.3.6-src.tar.gz

进入对应的目录：

cd apache-dolphinscheduler-1.3.6-src/docker/docker-swarm

使用docker命令拉取最新的dolphinscheduler镜像，命令如下：

docker pull apache/dolphinscheduler:latest

五、启动服务 

启动镜像服务非常简单，我们利用docker-compose命令，启动对应的容器服务，具体命令如下：

docker-compose up -d

六、登陆系统

dolphinscheduler服务默认端口是12345，服务地址为 http://127.0.0.1:12345/dolphinscheduler。访问服务地址，出现如下图所示的登陆界面。其中，默认的用户是admin，默认的密码是dolphinscheduler123。

七、首页展示

输入用户名和密码后，我们进入dolphinscheduler服务首页，显示了服务任务状态的统计信息以及流程状态的统计信息，具体内容如下所示：

八、项目管理

项目管理页签，我们可以添加项目信息，操作如下图所示：

创建对应的项目后，显示效果如下：

九、资源管理中心

在资源管理中心，我们管理自己的项目资源，比如上传文件、添加函数等。

十、监控中心

在监控中心里，我们可以查看master、worker、zookeeper、DB的运行状态，如下图所示，展示了master的CPU占用率是1%，内存利用率是24%，平均负载35%。

十一、安全中心

在安全中心，有租户管理、用户管理模块，同时支持告警组管理、worker分组管理、队列管理、令牌管理等内容。

最后

好了，今天关于dolphinscheduler调度服务的介绍就到这里吧，是不是非常简单？大概用了十五分钟左右的时间，我们就非常快速的完成了dolphinscheduler实例服务的启动、访问、设置等操作，感兴趣的小伙伴，现在就可以开始动手了。希望这次分享的内容能够帮助到大家，谢谢！

【本文正在参与 “拥抱开源 — Apache DolphinScheduler 有奖征稿活动】，活动页面链接：https://marketing.csdn.net/p/905935e3b6d318176d0f95a314413ed8?utm_source=2127431736