💤分布式任务调度:xxl-job
Posted Captain
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了💤分布式任务调度:xxl-job相关的知识,希望对你有一定的参考价值。
一、XXL-JOB概述
官方GitHub地址:https://github.com/xuxueli/xxl-job
中文文档地址:https://www.xuxueli.com/xxl-job
1.1、什么是xxl-job
XXL-JOB 是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
设计思想 是将调度行为抽象形成 调度中心 平台,平台本身不承担业务逻辑,而是负责发起 调度请求 后,由 执行器 接收调度请求并执行 任务,
这里的任务抽象为分散的JobHandler。通过这种方式即可实现调度与任务相互解耦,从而提高系统整体的稳定性和拓展性。
为了更好理解,这里放一张官网的架构图:
1.2、框架特性
- 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
- 2、动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
- 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心HA;
- 4、执行器HA(分布式):任务分布式执行,任务”执行器”支持集群部署,可保证任务执行HA;
- 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
- 6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
- 7、触发策略:提供丰富的任务触发策略,包括:Cron触发、固定间隔触发、固定延时触发、API(事件)触发、人工触发、父子任务触发;
- 8、调度过期策略:调度中心错过调度时间的补偿处理策略,包括:忽略、立即补偿触发一次等;
- 9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
- 10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
- 11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;其中分片任务支持分片粒度的失败重试;
- 12、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
- 13、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
- 14、分片广播任务:执行器集群部署时,任务路由策略选择”分片广播”情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;
- 15、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
- 16、故障转移:任务路由策略选择”故障转移”情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。
- 17、任务进度监控:支持实时监控任务进度;
- 18、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
- 19、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
- 20、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
- 21、命令行任务:原生提供通用命令行任务Handler(Bean任务,”CommandJobHandler”);业务方只需要提供命令行即可;
- 22、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
- 23、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
- 24、自定义任务参数:支持在线配置调度任务入参,即时生效;
- 25、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
- 26、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
- 27、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
- 28、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 29、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
- 30、全异步:任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰,理论上支持任意时长任务的运行;
- 31、跨语言:调度中心与执行器提供语言无关的 RESTful API 服务,第三方任意语言可据此对接调度中心或者实现执行器。除此之外,还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案;
- 32、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
- 33、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;
- 34、线程池隔离:调度线程池进行隔离拆分,慢任务自动降级进入”Slow”线程池,避免耗尽调度线程,提高系统稳定性;
- 35、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
- 36、权限控制:执行器维度进行权限控制,管理员拥有全量权限,普通用户需要分配执行器权限后才允许相关操作;
1.3、任务调度是什么?为什么需要分布式任务调度
任务调度是什么?
在开发项目时大家是否也遇到过类似的场景问题:
- 系统需要定时在每天0点进行数据备份。
- 系统需要在活动开始前几小时预热执行一些前置业务。
- 系统需要定时对 MQ 消息表的发送装填,对发送失败的 MQ 消息进行补偿重新发送。
这些场景问题都可以通过 任务调度 来解决,任务调度指的是系统在约定的指定时间自动去执行指定的任务的过程。
单体系统 中有许多实现 任务调度 的方式,如多线程方式、Timer 类、Spring Tasks 等等。这里比较常用的是 Spring Tasks(通过 @EnableScheduling
+ @Scheduled
的注解可以自定义定时任务)
为什么需要分布式任务调度
分布式下,每个服务都可以搭建为集群,这样的好处是可以将任务切片分给每一个服务从而实现并行执行,提高任务调度的处理效率。那么为什么 分布式系统 不能使用 单体系统的任务调度实现方式呢。
在集群服务下,如果还是使用每台机器按照单体系统的任务调度实现方式实现的话,会出现下面这四个问题:
- 怎么做到对任务的控制(如何避免任务重复执行)。
- 如果某台机器宕机了,会不会存在任务丢失。
- 如果要增加服务实例,怎么做到弹性扩容。
- 如何做到对任务调度的执行情况统一监测。
通过上面的问题可以了解到分布式系统下需要一个满足高可用、容错管理、负载均衡等功能的任务调度平台来实现任务调度。分布式系统下,也有许多可以实现任务调度的第三方的分布式任务调度系统,
如 xxl-job、Quartz、elastic-job 等等常用的分布式任务调度系统。
二、XXL-JOB基本使用
这里使用到的最新版本是v2.4.0,下载源码,稍后使用;
xxl-job-admin:调度中心 xxl-job-core:公共依赖 xxl-job-executor-samples:执行器Sample示例(选择合适的版本执行器,可直接使用,也可以参考其并将现有项目改造成执行器) :xxl-job-executor-sample-springboot:Springboot版本,通过Springboot管理执行器,推荐这种方式; :xxl-job-executor-sample-frameless:无框架版本;
2.1、初始化数据库
请下载项目源码并解压,获取 “调度数据库初始化SQL脚本” 并执行即可。
“调度数据库初始化SQL脚本” 位置为:
/xxl-job/doc/db/tables_xxl_job.sql
调度中心支持集群部署,集群情况下各节点务必连接同一个mysql实例;
如果mysql做主从,调度中心集群节点务必强制走主库;
2.2、配置部署:调度中心
调度中心项目:xxl-job-admin
作用:统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。
1、修改数据库地址:application.properties
配置文件说明:
### 调度中心JDBC链接:链接地址请保持和 2.1章节 所创建的调度数据库的地址一致 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password=root_pwd spring.datasource.driver-class-name=com.mysql.jdbc.Driver ### 报警邮箱 spring.mail.host=smtp.qq.com spring.mail.port=25 spring.mail.username=xxx@qq.com spring.mail.password=xxx spring.mail.properties.mail.smtp.auth=true spring.mail.properties.mail.smtp.starttls.enable=true spring.mail.properties.mail.smtp.starttls.required=true spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory ### 调度中心通讯TOKEN [选填]:非空时启用; xxl.job.accessToken= ### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文; xxl.job.i18n=zh_CN ## 调度线程池最大线程配置【必填】 xxl.job.triggerpool.fast.max=200 xxl.job.triggerpool.slow.max=100 ### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能; xxl.job.logretentiondays=30
2、打jar包,然后执行
这里我部署到了VM虚拟机中去,虚拟机IP是:192.168.147.128;
启动后访问web界面:http://192.168.147.128:8848/xxl-job-admin
默认登录账号 “admin/123456”
nohup java -jar xxl-job-admin-2.4.1-SNAPSHOT.jar >> ./xxl-job.log 2>&1 &
2.3、配置部署:执行器项目
这里我就直接使用源码中提供的SpringBoot演示例子(xxl-job-executor-sample-springboot),下面是如果是自己的SpringBoot项目,需要如何配置;
1、项目导入maven依赖
<dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>2.4.1-SNAPSHOT</version> </dependency>
2、 执行器配置
# 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔 xxl.job.admin.addresses=http://192.168.147.128:8848/xxl-job-admin # 执行器通讯TOKEN [选填]:非空时启用; xxl.job.accessToken=default_token # 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册 xxl.job.executor.appname=xxl-job-executor-sample # 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。 xxl.job.executor.address= # 执行器IP(本机IP) [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"; xxl.job.executor.ip=192.168.31.240 # 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口; xxl.job.executor.port=9999 #执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径; xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler # 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能; xxl.job.executor.logretentiondays=30
3、执行器组件配置:config/XxlJobConfig.java
@Configuration public class XxlJobConfig private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class); @Value("$xxl.job.admin.addresses") private String adminAddresses; @Value("$xxl.job.accessToken") private String accessToken; @Value("$xxl.job.executor.appname") private String appname; @Value("$xxl.job.executor.address") private String address; @Value("$xxl.job.executor.ip") private String ip; @Value("$xxl.job.executor.port") private int port; @Value("$xxl.job.executor.logpath") private String logPath; @Value("$xxl.job.executor.logretentiondays") private int logRetentionDays; @Bean public XxlJobSpringExecutor xxlJobExecutor() logger.info(">>>>>>>>>>> xxl-job config init."); XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor(); xxlJobSpringExecutor.setAdminAddresses(adminAddresses); xxlJobSpringExecutor.setAppname(appname); xxlJobSpringExecutor.setAddress(address); xxlJobSpringExecutor.setIp(ip); xxlJobSpringExecutor.setPort(port); xxlJobSpringExecutor.setAccessToken(accessToken); xxlJobSpringExecutor.setLogPath(logPath); xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays); return xxlJobSpringExecutor; /** * 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP; * * 1、引入依赖: * <dependency> * <groupId>org.springframework.cloud</groupId> * <artifactId>spring-cloud-commons</artifactId> * <version>$version</version> * </dependency> * * 2、配置文件,或者容器启动变量 * spring.cloud.inetutils.preferred-networks: \'xxx.xxx.xxx.\' * * 3、获取IP * String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress(); */
4、任务开发:jobhandler/SampleXxlJob.java
@Component public class SampleXxlJob @XxlJob("myDemoJobHandler") public void myDemoJobHandler() throws Exception String format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()); System.out.println(format + ":自定义执行器任务测试");
5、打jar包,然后执行
任务执行器,这里我是部署在了本地Windows上面,本机IPV4地址是:192.168.31.240
2.4、测试执行任务
1、执行器管理
新增执行器管理,我的理解为需要执行定时任务的项目地址,可能是集群,如果是集群或者多个项目,中间用逗号进行分割
2、配置任务管理
3、执行任务
2.5、测试分布式任务调度
1、复制xxl-job-executor-sample-springboot,重命名为xxl-job-executor-sample-springboot-2
2、修改端口号信息:
server.port=8082
xxl.job.executor.port=9998
3、启动这两个项目
4、编辑执行器,添加新项目执行器地址:http://192.168.31.240:9999,http://192.168.31.240:9998
5、任务管理-->操作-->编辑-->路由方式-->轮询
分布式任务调度平台XXL-JOB搭建
分布式任务调度平台XXL-JOB,作者许雪里
1、源码下载地址
①、GitHub:https://github.com/xuxueli/xxl-job
②、码云:https://gitee.com/xuxueli0323/xxl-job
2、文档地址
①、中文文档:http://www.xuxueli.com/xxl-job/#/
②、英文文档:http://www.xuxueli.com/xxl-job/en/#/
3、源码结构
通过上面给出的源码下载地址,我们将源码clone到IDEA中,如下:
tables_xxl_job.sql 数据库初始化脚本
xxl-job-admin 调度中心
xxl-job-core 公共依赖
xxl-job-executor-samples 分别是各个版本的执行器,作者推荐使用springboot版本的
4、初始化数据库
初始化脚本在上面源码目录的 /doc/db/tables_xxl_job.sql ,将此脚本在MySQL数据库中执行一遍。
执行完毕,会在MySQL数据库中生成如下 16 张表,实际得到8张
xxl_job_qrtz_blob_triggerrs
xxl_job_qrtz_calendars
xxl_job_qrtz_cron_triggers
xxl_job_qrtz_fired_triggers
xxl_job_qrtz_job_details
xxl_job_qrtz_locks
xxl_job_qrtz_paused_trigger_grps
xxl_job_qrtz_scheduler_state
xxl_job_qrtz_simple_triggers
xxl_job_qrtz_simprop_triggers
xxl_job_qrtz_trigger_group
xxl_job_qrtz_trigger_info
xxl_job_qrtz_trigger_log
xxl_job_qrtz_trigger_loglue
xxl_job_qrtz_registry
xxl_job_qrtz_triggers
5、配置调度中心
调度中心就是源码中的 xxl-job-admin 工程,我们需要将其配置成自己需要的调度中心,通过该工程我们能够以图形化的方式统一管理任务调度平台上调度任务,负责触发调度执行。
①、修改调度中心配置文件
文件地址:/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties
配置文件说明:
### 1、调度中心项目的端口号以及访问路径
server.port=8080
server.context-path=/xxl-job-admin
### 2、配置静态文件的前缀
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/
### 3、配置模板文件
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### 4、配置mybatis的mapper文件地址
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
### 5、配置数据库的地址
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.type=org.apache.tomcat.jdbc.pool.DataSource
spring.datasource.tomcat.max-wait=10000
spring.datasource.tomcat.max-active=30
spring.datasource.tomcat.test-on-borrow=true
spring.datasource.tomcat.validation-query=SELECT 1
spring.datasource.tomcat.validation-interval=30000
### 6、配置报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
### 7、管理界面的登录用户名密码
xxl.job.login.username=admin
xxl.job.login.password=123456
### 8、调度中心通讯TOKEN,非空时启用
xxl.job.accessToken=
### 9、调度中心国际化设置,默认为中文版本,值设置为“en”时切换为英文版本
xxl.job.i18n=
注意:基本上上面的配置文件我们需要修改的只有第 5 点,修改数据库的地址,这要与我们前面初始化的数据库名称径,用户名密码保持一致;
第二个就是修改第 6 点,报警邮箱,因为该工程任务失败后有失败告警功能,可以通过邮件来提醒,如果我们需要此功能,可以配置一下。
②、部署调度中心
该工程是一个springboot项目,我们只需要在IDEA中执行 XxlJobAdminApplication 类即可运行该工程:
③、访问调度中心管理界面
在浏览器输入 http://localhost:8080/xxl-job-admin 然后输入用户名和密码(前面配置文件中配置的),即可看到如下管理界面。
6、创建执行器项目
其实在源码中,作者提供了各个版本的 执行器项目,下面我以创建一个 springboot 版本的执行器为例来介绍。
这个执行器的地址为:https://github.com/YSOcean/xxljobexecutordemo.git
①、添加maven依赖
在创建好的springboot 项目的pom.xml 文件中添加如下依赖:
<!-- xxl-rpc-core -->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.0.1</version>
</dependency>
②、配置执行器
在创建好的springboot 项目的配置文件 application.yml 添加如下配置:
server:
#项目端口号
port: 8081
logging:
#日志文件
config: classpath:logback.xml
xxl:
job:
admin:
#调度中心部署跟地址:如调度中心集群部署存在多个地址则用逗号分隔。
#执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"。
addresses: http://127.0.0.1:8080/xxl-job-admin
#分别配置执行器的名称、ip地址、端口号
#注意:如果配置多个执行器时,防止端口冲突
executor:
appname: executorDemo
ip: 127.0.0.1
port: 9999
#执行器运行日志文件存储的磁盘位置,需要对该路径拥有读写权限
logpath: /data/applogs/xxl-job/jobhandler
#执行器Log文件定期清理功能,指定日志保存天数,日志文件过期自动删除。限制至少保持3天,否则功能不生效;
#-1表示永不删除
logretentiondays: -1
这里需要注意的是:配置执行器的名称、IP地址、端口号,后面如果配置多个执行器时,要防止端口冲突。再就是执行器的名称,我们后面会到上一步的调度中心管理界面进行对应配置。
③、载入配置文件
在项目中创建 XxlJobConfig.class 文件:
package com.ys.xxljobexecutordemo.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* Create by YSOcean
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.executor.appname}")
private String appName;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean(initMethod = "start", destroyMethod = "destroy")
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppName(appName);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
④、创建任务JobHandler
在项目中创建一个Handler,用于执行我们想要执行的东西,这里我只是简单的打印一行日志:
XXL-JOB, Hello World!!!
package com.ys.xxljobexecutordemo.jobhandler;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.stereotype.Component;
/**
* 任务Handler示例(Bean模式)
*
* 开发步骤:
* 1、继承"IJobHandler":“com.xxl.job.core.handler.IJobHandler”;
* 2、注册到Spring容器:添加“@Component”注解,被Spring容器扫描为Bean实例;
* 3、注册到执行器工厂:添加“@JobHandler(value="自定义jobhandler名称")”注解,注解value值对应的是调度中心新建任务的JobHandler属性的值。
* 4、执行日志:需要通过 "XxlJobLogger.log" 打印执行日志;
*/
@JobHandler(value="demoJobHandler")
@Component
public class JobHandlerDemo extends IJobHandler{
@Override
public ReturnT<String> execute(String s) throws Exception {
XxlJobLogger.log("XXL-JOB, Hello World.");
return SUCCESS;
}
}
注意:这里有个注解 @JobHandler(value="demoJobHandler"),对于 value的值,我们会在下面进行相应配置。
7、在调度中心中配置执行器
调度中心前面我们已经配置好了,启动该配置中心,进入http://localhost:8080/xxl-job-admin 界面。
①、配置执行器
点击 执行器管理----》新增执行器---》,如下如下界面,然后填充此表格,点击保存即可。
下面是对这几个参数的介绍:
AppName:是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
名称:执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
排序: 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
注册方式:调度中心获取执行器地址的方式,
自动注册:执行器自动进行执行器注册,调度中心通过底层注册表可以动态发现执行器机器地址;
手动录入:人工手动录入执行器的地址信息,多地址逗号分隔,供调度中心使用;
机器地址:"注册方式"为"手动录入"时有效,支持人工维护执行器的地址信息;
②、创建任务
点击 任务管理---》新增任务---》
执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置。
任务描述:任务的描述信息,便于任务管理;
路由策略:当执行器集群部署时,提供丰富的路由策略,包括;
FIRST(第一个):固定选择第一个机器;
LAST(最后一个):固定选择最后一个机器;
ROUND(轮询):;
RANDOM(随机):随机选择在线的机器;
CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;
LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;
FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;
SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;
Cron:触发任务执行的Cron表达式;
运行模式:
BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 "JobHandler" 属性匹配执行器中任务;
GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;
GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "shell" 脚本;
GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;
GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;
GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;
GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;
JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;
子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。
任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;
失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
负责人:任务的负责人;
执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数转换成数组传入;
8、启动任务
配置完执行器以及任务,我们只需要启动该任务,便可以运行了。
启动之后,我们查看日志:
我们上面配置任务时的cron表达式是每秒钟执行一次(0/1 * * * * ? *):
打印日志如下:
注意:在项目中,只有通过 XxlJobLogger.log() 代码才能将日志打印到上面。
参考文档:
https://www.cnblogs.com/xuxueli/p/5021979.html 这是xxl-job作者的博客地址。
http://www.xuxueli.com/xxl-job/# 这是中文教程。
-------------------------------------------------
--项目中操作步骤如下
--1.maven install打包成xxl-job-admin-2.2.0.jar,已下载xxl-job源码,或者运行源码XxlJobAdminApplication也可
java -jar xxl-job-admin-2.2.0.jar
--2.修改application.properties的server.port和xxl.job.executor.port2个端口,然后运行
package com.dongnaoedu.taskschedule下的TaskScheduleApplication.java
,得到xxl.job.executor.appname=task-schedule的多个任务
is single-instance run configuration. Are you sure you want to stop the running one?
解决:
Edit Configurations->去掉Single instance only的勾选框即可。
--mysql中查询分布式任务和相应的分布式任务注册信息
select * from xxl_job_registry;
select * from xxl_job_group;
select * from xxl_job_log_report;
--web端的操作
1.执行器管理-》新增
appname:task-schedule,名称:我的任务调度器,注册方式:自动注册
2.任务管理-》新增(其他的选项为默认:路由策略为第一个,运行模式为BEAN,阻塞策略为单机串行)
执行器:我的任务调度器
cron:0/3 * * * * ?
JobHandler:shardingJob
任务描述:分片任务
3.启动新增的任务
操作-》执行一次
操作-》启动
--控制台未出现3个任务调度的信息,只显示:第 0 片, 命中分片开始处理
--调度日志中的错误信息,解决:sharding_job修改为shardingJob
msg:job handler [sharding_job] not found.
以上是关于💤分布式任务调度:xxl-job的主要内容,如果未能解决你的问题,请参考以下文章