分布式任务调度框架选型，如何选择一个合适的框架？
首先，这种框架现在市面上是有的。强烈建议，不要重复造轮子。
先介绍几种比较主流的。
Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。
Elastic-Job的特点：
1、分布式调度 2、作业高可用 3、任务分片执行。
另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。
目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。
目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。
1.XXL-JOB
2.Elastic-Job
Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。
定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。
支持分布式调度协调、弹性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。
分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。
Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。
灵活的增删改查作业，集中式管理调度作业
支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。
支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例
任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能
一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。
同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片
3.opencron
opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可操作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性
4.quartz
支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。
quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。
quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的操作规则从而保证了操作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。
缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。
5.Saturn
Saturn
基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。
主要特性
支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)
支持秒级调度
支持作业分片并行执行
支持依赖作业串行执行
支持作业高可用和智能负载均衡
支持异常检测和自动失败转移
支持异地容灾
支持多个集群部署
支持跨机房区域部署
支持弹性动态扩容
支持优先级和权重设置
支持docker容器，容器化友好
支持cron时间表达式
支持多个时间段暂停执行控制
支持超时告警和超时强杀控制
支持灰度发布
支持异常、超时和无法高可用作业监控告警和简易的故障排除
支持失败率***、最活跃和负荷最重的各域各节点TOP10的作业统计
优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。
最后一个是国内团队封装的
前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。
另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！
springcloudtask，springclouddataflow，正在学习中
任务调度框架 quartz 和 xxl-job - 上
quartz 和 xxl-job 都是任务调度框架，任务调度相关功能都可以借助这两个框架实现。
任务调度指在将来某个特定的时间、固定的时间周期或规律变化的时间周期到达时自动调度并执行指定的任务。
这两个框架都通过自己的方式实现了这个功能，区别在于对任务的创建、修改、删除、触发以及监控的操作成本上，quartz 对于这些操作直接提供了 api，这意味着开发人员拥有***的操作权，也带来了更高的灵活性，然而对于不需要很高灵活性的系统，或调度任务的操控由非开发人员负责的系统，需要额外对 api 调用做一层封装，隔离 api 操作；而 xxl-job 提供这些控制的方式是提供了一个单独的可视化调度中心，这意味着任务的状态控制可以和系统分离，通过更易操作的网页界面的形式，降低了对操控者的门槛。
quartz 有四个重要的组件，使用前需要先了解他们。
参考： Quartz 入门详解
1. Scheduler
代表一个 Quartz 的独立运行容器，Scheduler 将 Trigger 绑定到特定 JobDetail， 这样当 Trigger 触发时， 对应的 Job 就会被调度。
2. Trigger
描述 Job 执行的时间触发规则。主要有 SimpleTrigger 和 CronTrigger 两个子类，通过一个 TriggerKey 唯一标识。
3. Job
定义一个任务，规定了任务是执行时的行为。JobExecutionContext 提供了调度器的上下文信息，Job 的数据可从 JobDataMap 中获取。
3. JobDetail
Quartz 在每次执行 Job 时，都重新创建一个 Job 实例，所以它不直接接受一个 Job 的实例，相反它接收一个 Job 实现类。描述 Job 的实现类及其它相关的静态信息，如 Job 名字、描述等。
添加一个任务到 quartz 容器中
ScheduleJob
暂停、恢复、删除一个任务只需调用 Scheduler 的对应方法即可。
CronTrigger 相比 SimpleTrigger 提供了更灵活的调度规则，cron 表达式的知识可参考 cron 表达式详解 。
在线 cron 表达式生成器
Job 实现类
tip：Job 实现类需要用 public 修饰，即不能是内部类。
InitializingBean#afterPropertiesSet 中启动调度器
调度后的控制台日志
demo 为 spring boot 项目，已上传 GitHub ，你可以在 这里 找到。
jdk 1.8
spring boot 集成了 quartz
使用 了 lombok 框架的以下注解：
xxl-job 的分析见下篇 博文
ElasticJob分片机制
ElasticJob是一个弹性的分布式任务调度框架，这里的分布式就是采用分片的来进行任务调度和业务执行的解耦，分片信息就是中间进行解耦的。ElasticJob任务调度框架调度触发执行的是分片，然后业务可以在框架触发对应分片信息的时候，增加自己业务的处理。分片这个思想挺不错的，把任务调度框架和实际业务解耦的相当好。
ShardingListenerManager分片管理监听器在ElasticJob启动的就是开启了监听，这里是开启了2个监听器ShardingTotalCountChangedJobListener(分片节点总数变化监听器)和ListenServersChangedJobListener(服务器改变监听器)。
获取zookeeper下发的分片个数变化事件的通知，判断新分片数和原分片数是否相等，不相等的话设置需要重新分片的标记，创建/leader/sharding/neccessary持久节点。
instance和servers节点下有子节点变化会被监听到，这个时候也会去设置下需要重新分片的标记/leader/sharding/neccessary节点。
上面是触发生成了需要重新分片的标记，具体分片的执行时在任务执行的过程中。在作业任务执行的时候需要获取分片信息，这个时候会完成重新分片的执行。
etl任务调度框架是什么意思
ETL任务调度——简称ETL调度，用于控制ETL任务的启动运行(启动时间、运行周期及触发条件)，实现数据的传输转换操作。
分布式定时任务调度框架实践
分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。
一、业务背景
1.1 为什么需要使用定时任务调度
（1）时间驱动处理场景： 整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。
（2）批量处理数据： 按月批量统计报表数据，批量更新短信状态，实时性要求不高。
（3）异步执行解耦： 活动状态刷新，异步执行离线查询，与内部逻辑解耦。
1.2 使用需求和痛点
（1）任务执行监控告警能力。
（2）任务可灵活动态配置，无需重启。
（3）业务透明，低耦合，配置精简，开发方便。
（4）易测试。
（5）高可用，无单点故障。
（6）任务不可重复执行，防止逻辑异常。
（7）大任务的分发并行处理能力。
二、开源框架实践与 探索
2.1 Java 原生 Timer 和
ScheduledExecutorService
2.1.1 Timer使用
Timer缺陷：
由于上述缺陷，尽量不要使用Timer， idea中也会明确提示，使用ScheduledThreadPoolExecutor替代Timer 。
2.1.2 ScheduledExecutorService使用
ScheduledExecutorService对于Timer的缺陷进行了修补，首先ScheduledExecutorService内部实现是ScheduledThreadPool线程池，可以支持多个任务并发执行。
对于某一个线程执行的任务出现异常，也会处理，不会影响其他线程任务的执行，另外ScheduledExecutorService是基于时间间隔的延迟，执行不会由于系统时间的改变发生变化。
当然，ScheduledExecutorService也有自己的局限性：只能根据任务的延迟来进行调度，无法满足基于绝对时间和日历调度的需求。
2.2 Spring Task
2.2.1 Spring Task 使用
spring task 是spring自主开发的轻量级定时任务框架，不需要依赖其他额外的包，配置较为简单。
此处使用注解配置
2.2.2 Spring Task缺陷
Spring Task 本身不支持持久化，也没有推出官方的分布式集群模式，只能靠开发者在业务应用中自己手动扩展实现，无法满足可视化，易配置的需求。
2.3 永远经典的 Quartz
2.3.1 基本介绍
Quartz框架是Java领域最著名的开源任务调度工具，也是目前事实上的定时任务标准，几乎全部的开源定时任务框架都是基于Quartz核心调度构建而成。
2.3.2 原理解析
核心组件和架构
关键概念
（1） Scheduler ：任务调度器，是执行任务调度的控制器。本质上是一个计划调度容器，注册了全部Trigger和对应的JobDetail， 使用线程池作为任务运行的基础组件，提高任务执行效率。
（2） Trigger ：触发器，用于定义任务调度的时间规则，告诉任务调度器什么时候触发任务，其中CronTrigger是基于cron表达式构建的功能强大的触发器。
（3） Calendar ：日历特定时间点的集合。一个trigger可以包含多个Calendar，可用于排除或包含某些时间点。
（4） JobDetail ：是一个可执行的工作，用来描述Job实现类及其它相关的静态信息，如Job的名称、监听器等相关信息。
（5） Job ：任务执行接口，只有一个execute方法，用于执行真正的业务逻辑。
（6） JobStore ：任务存储方式，主要有RAMJobStore和JDBCJobStore，RAMJobStore是存储在JVM的内存中，有丢失和数量受限的风险，JDBCJobStore是将任务信息持久化到数据库中，支持集群。
2.3.3 实践说明
（1）关于Quartz的基本使用
（2）业务使用要满足动态修改和重启不丢失， 一般需要使用数据库进行保存。
（3）组件化
（4）扩展
2.3.4 缺陷和不足
（1）需要把任务信息持久化到业务数据表，和业务有耦合。
（2）调度逻辑和执行逻辑并存于同一个项目中，在机器性能固定的情况下，业务和调度之间不可避免地会相互影响。
（3）quartz集群模式下，是通过数据库独占锁来唯一获取任务，任务执行并没有实现完善的负载均衡机制。
2.4 轻量级神器 XXL-JOB
2.4.1 基本介绍
XXL-JOB是一个轻量级分布式任务调度平台，主打特点是平台化，易部署，开发迅速、学习简单、轻量级、易扩展，代码仍在持续更新中。
主要提供了任务的动态配置管理、任务监控和统计报表以及调度日志几大功能模块，支持多种运行模式和路由策略，可基于对应执行器机器集群数量进行简单分片数据处理。
2.4.2 原理解析
2.1.0版本前核心调度模块都是基于quartz框架，2.1.0版本开始自研调度组件，移除quartz依赖 ，使用时间轮调度。
2.4.3 实践说明
详细配置和介绍参考官方文档。
2.4.3.1 demo使用：
@JobHandler(value="offlineTaskJobHandler") ，实现业务逻辑即可。（注：此次引入了du***o，后文介绍）。
（滑动可查看）
示例2：分片广播任务。
（滑动可查看）
2.4.3.2 整合du***o
（1）引入du***o-spring-boot-starter和业务facade jar包依赖。
（滑动可查看）
（2）配置文件加入du***o消费端配置（可根据环境定义多个配置文件，通过profile切换）。
（滑动可查看）
（3）代码中通过@Reference注入facade接口即可。
（滑动可查看）
（4）启动程序加入@EnableDu***oConfiguration注解。
（滑动可查看）
2.4.4 任务可视化配置
内置了平台项目，方便了开发者对任务的管理和执行日志的监控，并提供了一些便于测试的功能。
2.4.5 扩展
（1）任务监控和报表的优化。
（2）任务报警方式的扩展，比如加入告警中心，提供内部消息，短信告警。
（3）对实际业务内部执行出现异常情况下的不同监控告警和重试策略。
2.5 高可用 Elastic-Job
2.5.1 基本介绍
Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。
Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
可惜的是已经两年没有迭代更新记录。
2.5.2 原理解析
2.5.3 实践说明
2.5.3.1 demo使用
（1）安装zookeeper，配置注册中心config，配置文件加入注册中心zk的配置。
（滑动可查看）
（滑动可查看）
（2）配置数据源config，并配置文件中加入数据源配置。
（滑动可查看）
（滑动可查看）
（3）配置事件config。
（滑动可查看）
（4）为了便于灵活配置不同的任务触发事件，加入ElasticSimpleJob注解。
（滑动可查看）
（5）对配置进行初始化。
（滑动可查看）
（6）实现 SimpleJob接口，按上文中方法整合du***o, 完成业务逻辑。
（滑动可查看）
2.6 其余开源框架
（1） Saturn ：Saturn是唯品会开源的一个分布式任务调度平台，在Elastic Job的基础上进行了改造。
（2） SIA-TASK ：是宜信开源的分布式任务调度平台。
三、优劣势对比和业务场景适配思考
业务思考：
四、结语
对于并发场景不是特别高的系统来说，xxl-job配置部署简单易用，不需要引入多余的组件，同时提供了可视化的控制台，使用起来非常友好，是一个比较好的选择。希望直接利用开源分布式框架能力的系统，建议根据自身的情况来进行合适的选型。
附：参考文献
高可用架构
改变互联网的构建方式
任务调度框架的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于任务调度框架quartz、任务调度框架的信息别忘了在本站进行查找喔。