【进阶之路】定时任务调用平台xxl-job

你们好，我是练习java两年半时间的南橘，从一名连java有几种数据结构都不懂超级小白，到如今懂了一点点的进阶小白，学到了很多的东西。知识越分享越值钱，我这段时间总结（包括从别的大佬那边学习，引用）了一些日常学习和工做中的重点（自我认为），但愿给你们带来一些帮助

不少业务场景须要咱们某一特定的时刻去作某件任务，定时任务解决的就是这种业务场景。通常来讲，系统可使用消息传递代替部分定时任务，二者有不少能够相互替换场景。如，发货成功发短信通知客户的业务场景，咱们能够在发货成功后发送MQ消息到队列，而后去消费mq消息，发送短信。可是在不少状况，MQ系统并不能承担定时任务：

• 天天5:30定时去sftp下载一天的还款计划
• 天天23：00提交一天的日终计划
• 每5分钟同步一次相关的订单状态

当遇到这些问题的时候，就能够考虑用到定时任务了。

XXL-JOB介绍

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

一、XXL-JOB特性：

• 一、简单：支持经过Web页面对任务进行CRUD操做，操做简单，一分钟上手；
• 二、动态：支持动态修改任务状态、启动/中止任务，以及终止运行中任务，即时生效；
• 三、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
• 四、执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA；
• 五、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
• 六、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会从新分配任务；
• 七、触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
• 八、调度过时策略：调度中心错过调度时间的补偿处理策略，包括：忽略、当即补偿触发一次等；
• 九、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖以前调度；
• 十、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
• 十一、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
• 十二、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
• 1三、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不常用、最近最久未使用、故障转移、忙碌转移等；
• 1四、分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”状况下，一次任务调度将会广播触发集群中全部执行器执行一次任务，可根据分片参数开发分片任务；
• 1五、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增长分片数量，协同进行业务处理；在进行大数据量业务操做时可显著提高任务处理能力和速度。
• 1六、故障转移：任务路由策略选择”故障转移”状况下，若是执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
• 1七、任务进度监控：支持实时监控任务进度；
• 1八、Rolling实时日志：支持在线查看调度结果，而且支持以Rolling方式实时查看执行器输出的完整的执行日志；
• 1九、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
• 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
• 2一、命令行任务：原生提供通用命令行任务Handler（Bean任务，”CommandJobHandler”）；业务方只须要提供命令行便可；
• 2二、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
• 2三、一致性：“调度中心”经过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
• 2四、自定义任务参数：支持在线配置调度任务入参，即时生效；
• 2五、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
• 2六、数据加密：调度中心和执行器之间的通信进行数据加密，提高调度信息安全性；
• 2七、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
• 2八、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
• 2九、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
• 30、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
• 3一、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此以外，还提供了 “多任务模式”和“httpJobHandler”等其余跨语言方案；
• 3二、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
• 3三、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
• 3四、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入”Slow”线程池，避免耗尽调度线程，提升系统稳定性；
• 3五、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
• 3六、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户须要分配执行器权限后才容许相关操做；

（感受这个像水字数啊）

二、系统组成

调度模块（调度中心）：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提升了系统可用性和稳定性，同时调度系统性能再也不受限于任务模块；支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，全部上述操做都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

执行模块（执行器）：负责接收调度请求并执行任务逻辑。任务模块专一于任务的执行等操做，开发和维护更加简单和高效；接收“调度中心”的执行请求、终止请求和日志请求等。

如图，咱们能够看出xxl-job的执行方式，在调度中心创建好调度器，在代码中设定好执行器，就可以很是轻松的实现定时任务，比springboot里自带的定时任务更加的简单与可视化。

可视化就是XXL-JOB受欢迎的一个重要因素。

须要搭建xxl-job体系的同窗能够去开源社区看

三、新增定时任务

xxl-job的使用也很简单，搭建完调度中心以后。

一、登陆调度中心，密码之类的能够自行设置，默认的端口号是8080

二、新建一个执行器，执行器就相似于一个项目，调度任务须要隶属于某个执行器，执行器支持集群部署，提高调度系统可用性，同时提高任务处理能力。
固然，调度中心也是能够集群部署的，能够经过nginx为调度中心集群作负载均衡，分配域名。

• 执行器回调地址（xxl.job.admin.addresses）须要保持一致；执行器根据该配置进行执行器自动注册等操做。
• 同一个执行器集群内AppName（xxl.job.executor.appname）须要保持一致；调度中心根据该配置动态发现不一样集群的在线执行器列表。
  
  三、登陆调度中心，点击下图所示“新建任务”按钮，新建示例任务。而后，参考下面截图中任务的参数配置，点击保存。
  
  新建任务后有不少操做的选项，能够根据实际状况进行使用（强烈建议关闭不必的定时任务，严重影响性能，若是你配置了elk，你会发现kibana里全是定时任务的日志）
  

四、在程序中开发：(介绍的是BEAN模式（类形式）)

• JobHander：为Job方法添加注解，注解名为新增任务中的注解名。
• 执行日志：须要经过 "XxlJobLogger.log" 打印执行日志。
• 任务结果：默认任务结果为 "成功" 状态，不须要主动设置；若有诉求，好比设置任务结果为失败，能够经过"XxlJobHelper.handleFail/handleSuccess" 自主设置任务结果。
  

五、打印日志，而且能够在调度中心查看日志。可是若是是一天内屡次重复调用，日志比较难查询，能够再辅以elk查询日志。同时，在新建任务的时候，也能够指定报错通知的邮箱，会在报错后发邮件通知。

四、任务模式的介绍

类形式虽说每一个任务须要占用一个java类，可是根据接口隔离原则、单一职责原则来看，其实这样才更加符合java的设计原则。同时，由于使用了调度中心，手动注册也不成问题。

可是在一些其余地方，好比不一样状况、不一样时间段执行相同的任务的时候，能够采用方法形式进行开发，一方面能够复用代码逻辑，另外一方面也能够开发起来更方便。

五、调度模块剖析

• 一、XXL-JOB中“调度模块”和“任务模块”彻底解耦，调度模块进行任务调度时，将会解析不一样的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型相似RPC调用，调度中心提供调用代理的功能，而执行器提供远程服务的功能。

• 二、调度采用线程池方式实现，避免单线程因阻塞而引发任务调度延迟。

• 三、XXL-JOB调度模块默认采用并行机制，在多线程调度的状况下，不一样任务之间并行调度、并行执行，调度模块被阻塞的概率很低，大大提升了调度系统的承载量。

• 四、XXL-JOB的单个任务，针对多个执行器是并行运行的，针对单个执行器是串行执行的。同时支持任务终止。

• 五、任务调度错过触发时间时的处理策略：

  • 可能缘由：服务重启；调度线程被阻塞，线程被耗尽；上次调度持续阻塞，下次调度被错过；

    过时超5s：本次忽略，当前时间开始计算下次触发时间

    过时5s内：当即触发一次，当前时间开始计算下次触发时间

六、优缺点介绍

优势	缺点
开发迅速、学习简单、轻量级、易扩展。开箱即用	调度中心经过获取DB锁来保证集群中执行任务的惟一性，若是短任务不少，随着调度中心集群数量增长，那么数据库的锁竞争会比较厉害，性能很差。
弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布），任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化	须要手动在调度中心添加任务不能实现自动扫描注册。
可视化管理界面
跨语言
可视化管理界面

还有许多关于xxl-job集群的内容你们能够去开源的官网上查看，我主要是向你们介绍一些重点内容与我本身使用的体验，具体怎么选择，如何使用，仍是要根据你们本身的业务需求来进行选择。下面这张图是xxl-job和另外一个经常使用的任务调度工具elastic-job的对比，你们也能够本身参考一下：

定时任务