Java 分布式任务调度平台：PowerJob 快速开始+配置详解

本文适合有 Java 基础知识的人群

做者：HelloGitHub-Salieri

引言

HelloGitHub 推出的《讲解开源项目》系列。

项目地址：

https://github.com/KFCFans/PowerJob

PowerJob 的设计目标为企业级的分布式任务调度平台，即成为公司内部的调度中间件。整个公司统一部署调度中心 powerjob-server，旗下全部业务线应用只须要依赖 'powerjob-worker' 便可接入获取任务调度与分布式计算能力。

所以，PowerJob 由调度服务器（powerjob-server）和执行器（powerjob-worker）两部分组成，powerjob-server 负责提供 Web 服务和完成任务的调度，powerjob-worker 则负责执行用户所编写的任务代码，同时提供分布式计算能力。

如下为在本地开发环境快速搭建并试用 PowerJob 的教程。

1、STEP1: 初始化项目

1. git clone https://github.com/KFCFans/PowerJob.git

2. 导入 IDE，源码结构以下，咱们须要启动调度服务器（powerjob-server），同时在 samples 工程中编写本身的处理器代码

   

2、STEP2: 启动调度服务器

1. 建立数据库（不须要建表，只须要建立数据库）powerjob-daily

2. 修改配置文件，配置文件的说明官方文档写的很是详细，此处再也不赘述。因为是在本地 IDE 搭建测试环境，所以咱们选择使用开发环境的配置文件 application-daily.properties 来修改并使用。须要修改的地方为数据库配置：

   • spring.datasource.core.jdbc-url
   • spring.datasource.core.username
   • spring.datasource.core.password
   • 固然，有 mongoDB 的同窗也能够修改 spring.data.mongodb.uri 以获取彻底版体验。

3. 完成配置文件的修改后，能够直接经过启动类 OhMyApplication 启动调度服务器，观察启动日志，查看是否启动成功～启动成功后，访问 http://127.0.0.1:7700/ ，若是能顺利出现 Web 界面，则说明调度服务器启动成功！

4. 注册应用：点击主页应用注册按钮，填入 powerjob-agent-test 和控制台密码（用于进入控制台），注册示例应用（固然你也能够注册其余的 appName，只是别忘记在示例程序中同步修改～）

   

3、STEP3: 编写示例代码

进入示例工程（powerjob-worker-samples），修改配置文件链接 powerjob-server 并编写本身的处理器代码。

1. 修改 powerjob-worker-samples 的启动配置类 OhMySchedulerConfig，将 appName 修改成刚刚在控制台注册的名称。

2. 编写本身的处理器：在示例工程中新建一个类，继承你想要使用的处理器（各个处理器的介绍可见官方文档），这里为了简单演示，选择使用单机处理器 BasicProcessor ，如下代码示例演示了在线日志功能的使用。

   @Slf4j
   @Component public class StandaloneProcessorDemo implements BasicProcessor {   @Override  public ProcessResult process(TaskContext context) throws Exception {   OmsLogger omsLogger = context.getOmsLogger();  omsLogger.info("start process,context is {}.", context);  System.out.println("jobParams is " + context.getJobParams());   return new ProcessResult(true, "process successfully~");  } } 复制代码

3. 启动示例程序，即直接运行主类 SampleApplication，观察控制台输出信息，判断是否启动成功。

4、STEP4: 任务的配置与运行

调度服务器与示例工程都启动完毕后，再次前往 Web 页面（ http://127.0.0.1:7700/ ），进行任务的配置与运行。

1. 在首页输入框输入配置的应用名称，成功操做后会正式进入前端管理界面。

2. 点击任务管理 -> 新建任务（右上角），开始建立任务。

3. 完成任务建立后，便可在控制台看到刚才建立的任务，若是以为等待调度太过于漫长，能够直接点击运行按钮，当即运行本任务。

   

4. 前往任务示例边栏，查看任务的运行状态和在线日志

   

4.1 基本配置

• 任务名称：名称
• 任务描述：描述
• 任务参数：任务处理时可以获取到的参数（即各个 Processor的process 方法入参 TaskContext 对象的 jobParams 属性）（进行一次处理器开发就能理解了）
• 定时信息：该任务的触发方式，由下拉框和输入框组成
• API -> 不须要填写任何参数，代表该任务由 OpenAPI 触发
• CRON -> 填写 CRON 表达式（ 在线生成网站）
• 固定频率 -> 填写整数，单位 毫秒
• 固定延迟 -> 填写整数，单位 毫秒
• 工做流 -> 不须要填写任何参数，代表该任务由工做流（workflow）触发

4.2 执行配置

由执行类型（单机、广播和 MapReduce）、处理器类型和处理器参数组成，后两项相互关联。

• 内置 Java 处理器 -> 填写该处理器的 全限定类名（eg， com.github.kfcfans.oms.processors.demo.MapReduceProcessorDemo）
• Java（容器） -> 填写 容器ID#处理器全限定类名（eg， 18#com.github.kfcfans.oms.container.DemoProcessor）
• SHELL -> 填写须要处理的脚本（直接复制文件内容）或脚本下载连接（http://xxx）
• PYTHON -> 填写完整的 python 脚本或下载连接（http://xxx）

4.3 运行配置

• 最大实例数：该任务同时执行的数量
• 单机线程并发数：该实例执行过程当中每一个 Worker 使用的线程数量（MapReduce 任务生效，其他不管填什么，都只会使用必要的线程数...）
• 运行时间限制：限定任务的最大运行时间，超时则视为失败，单位 毫秒，0 表明不限制超时时间（ 不建议不限制超时时间）。

4.4 重试配置

• Instance 重试次数：实例级别，失败了整个任务实例重试，会更换 TaskTracker（本次任务实例的Master节点），代价较大，大型 Map/MapReduce 慎用。
• Task重试次数：Task 级别，每一个子 Task 失败后单独重试，会更换 ProcessorTracker（本次任务实际执行的 Worker 节点），代价较小，推荐使用。
• 注： 请注意同时配置任务重试次数和子任务重试次数以后的重试放大，好比对于单机任务来讲，假如任务重试次数和子任务重试次数都配置了 1 且都执行失败，实际执行次数会变成 4 次！推荐任务实例重试配置为 0，子任务重试次数根据实际状况配置。

4.5 机器配置

用来标明容许执行任务的机器状态，避开那些风雨飘摇的机器，0 表明无任何限制。

• 最低 CPU 核心数：填写浮点数，CPU 可用核心数小于该值的 Worker 将不会执行该任务。
• 最低内存（GB）：填写浮点数，可用内存小于该值的 Worker 将不会执行该任务。
• 最低磁盘（GB）：填写浮点数，可用磁盘空间小于该值的 Worker 将不会执行该任务。

4.6 集群配置

• 执行机器地址：指定集群中的某几台机器执行任务（debug 的好帮手），多值英文逗号分割，如 192.168.1.1:27777,192.168.1.2:27777
• 最大执行机器数量：限定调动执行的机器数量

4.7 报警配置

选择任务执行失败后报警通知的对象，须要事先录入。

基础的教程到这里也就结束了～更多功能示例可见官方文档，工做流、MapReduce、容器等高级特性等你来探索！

5、总结与预告

本章详细介绍了 PowerJob 的快速入门，根据本文可以快速搭建起本地开发/测试环境。下一章节，我将会对PowerJob 总体的架构作一个介绍，为后面的技术剖析作准备。

那咱们下期再见喽～

做者游记

“常在河边走，哪有不湿鞋”，然而，这句话在茶卡盐湖却属于奢望。

稍有不慎，隐秘的盐窟便对你敞开怀抱，瞬间将你吞噬～

盐湖如此，人生亦是如此。

不免不幸时，也要对着美好的明天微笑～

关注公众号加入交流群（做者在 Java 群）