对于分布式Job的思考

Posted 2020-11-24 clawhub

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了对于分布式Job的思考相关的知识，希望对你有一定的参考价值。

技术图片

引言

在清理Github的时候，发现以前写的一个简单的分布式任务分发系统ClawHub/task-distribution,使用了zk的选主与队列，调度器使用spring的ThreadPoolTaskScheduler，任务支持cron表达式。

这让我想起在这之前还封装过Quartz，那时候做的是单机版超大型应用，内部需要做调度系统。

目前在公司使用过Elastic-Job，也使用过Spring自带调度与ZK的结合，还有公司Boss系统提供的配置版本任务调度。

写这篇文章主要是简单的回忆一下Quartz与Spring的ThreadPoolTaskScheduler，还有Elastic-job。再写一下自己对分布式Job的思考。

1、quartz

官网地址：quartz-scheduler.org

1.1、简单使用

maven的pom文件：

<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.3.2</version>
</dependency>

具体任务：

import org.quartz.Job;
import org.quartz.JobExecutionContext;

import java.time.LocalDateTime;
import java.util.Random;

public class HelloJob implements Job {
    @Override
    public void execute(JobExecutionContext jobExecutionContext) {
        System.out.println(jobExecutionContext.getJobDetail().getJobDataMap().get("jobDetailJobData1"));
        System.out.println(jobExecutionContext.getTrigger().getJobDataMap().get("triggerJobData1"));
        System.out.println("HelloJob start at:"   LocalDateTime.now()   ", prints: Hello Job-"   new Random().nextInt(100));
    }
}

主调度器：


import org.quartz.*;
import org.quartz.impl.StdSchedulerFactory;

import java.util.concurrent.TimeUnit;

public class MainScheduler {
    public static void main(String[] args) throws SchedulerException, InterruptedException {
        // 1、创建调度器Scheduler
        SchedulerFactory schedulerFactory = new StdSchedulerFactory();
        Scheduler scheduler = schedulerFactory.getScheduler();
        // 2、创建JobDetail实例，并与PrintWordsJob类绑定(Job执行内容)
        JobDetail jobDetail = JobBuilder.newJob(HelloJob.class).usingJobData("jobDetailJobData1", "测试JobDetail上下文")
                .withIdentity("job1", "group1").build();
        // 3、构建Trigger实例,每隔1s执行一次
        Trigger trigger = TriggerBuilder.newTrigger().usingJobData("triggerJobData1", "测试Trigger上下文")
                .withIdentity("trigger1", "triggerGroup1")
                .startNow()//立即生效
                .withSchedule(SimpleScheduleBuilder.simpleSchedule()
                        .withIntervalInSeconds(1)//每隔1s执行一次
                        .repeatForever()).build();//一直执行

        //4、执行
        scheduler.scheduleJob(jobDetail, trigger);
        System.out.println("--------MainScheduler start ! ------------");
        scheduler.start();

        //睡眠
        TimeUnit.MINUTES.sleep(1);
        scheduler.shutdown();
        System.out.println("--------MainScheduler shutdown ! ------------");
    }
}

经过上面三步，执行main方法，就可以简单的实现调度任务了，下面分别介绍出现的角色。

1.2、角色介绍

1.2.1、Job和JobDetail

Job是Quartz中的任务模板，JobDetail是Job的描述，当Scheduler执行任务的时候，会根据JobDetail创建新的Job,用过之后就释放掉。

1.2.2、Trigger

触发器，描述了任务是什么时候触发执行，常用有SimpleTrigger、CronTrigger，cron表达式非常强大，基本上都是基于CronTrigger来做任务调度。

1.2.3、JobDataMap与JobExecutionContext

JobExecutionContext任务执行的上下文，JobDataMap保存上下文传输的数据。

1.1、架构原理

技术图片
上面这幅图可以简单的描述Quartz核心对象之间的关系。

2、Spring的ThreadPoolTaskScheduler

底层依赖于JUC的java.util.concurrent.ScheduledExecutorService。

2.1、简单使用


import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler;
import org.springframework.scheduling.support.CronTrigger;

import java.time.LocalDateTime;
import java.util.Random;

public class Main {
    public static void main(String[] args) {
        ThreadPoolTaskScheduler scheduler = new ThreadPoolTaskScheduler();
        scheduler.setPoolSize(10);
        scheduler.initialize();
        scheduler.schedule(() -> {
            System.out.println("HelloJob start at:"   LocalDateTime.now()   ", prints: Hello Job-"   new Random().nextInt(100));
        }, new CronTrigger("0/1 * * * * ?"));
    }
}