分布式任务框架选型

Posted 2020-09-10 艾草有爱

任务框架需求：

1. 分布式任务框架，需要一个分布式锁，只有获得锁的才能执行任务。
        解决方案：redis，zookeeper，DB
2. 运维工具。日志、监控、任务配置等
3. 高可用性。保证任务能够执行，且不重复跑。用途就是在分布式环境使用，可以轻松实现。

第1、3点不复杂代码量也不多，可以自己实现，但第2点需要大量的code，需要从网上找现成的框架。

 

下面调研了4种分布式任务调度框架，整理如下：

 

	可用性	运维工具	复杂度	任务分片	并行调度	文档	部署方式
tbschedule	高	丰富	中	支持	支持	一般	独立
clover	高	丰富	高	支持	支持	一般	独立
quartz	中	无	低	不支持	支持	丰富	集成
elastic-job	高	丰富	中	支持	支持	丰富	独立

tbschedule：淘宝开源的产品，除官方资料外其他资料较少

clover：系统较复杂（mongo存储数据，redis缓存，zk调度，ZeroMQ做server和client通信）

quartz：以DB来作为分布式锁，与主体项目一起部署，团队学习成本低，但是缺少运维工具（日志、监控、任务配置等）。任务按时间触发，获取DB中行级锁，执行任务。

elastic-job：当当网开源产品，资料比tbschedule丰富。作业服务器启动后向zk注册，选举主服务器。任务触发时，由主服务器分片，然后按IP获取分片并执行。

结论：elastic-job胜出。