分布式任务调度平台的自动化部署

1、概述

一、自动化部署能简化开发过程的代码管理，让开发人员把更多的时间专一于业务实现，
   简化繁琐的上线流程和操做步骤，作到项目的快速打包和部署，减小人为操做中的失误。

   二、分布式任务调度平台，XXL-JOB：美团点评员工许雪里开发，
   其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
   现已开放源代码并接入多家公司线上产品线，开箱即用。
   源码地址：https://github.com/xuxueli/xxl-job

2、本文简介

主要是利用成熟的CI部署工具Jenkins，结合开源的分布式任务调度框架xxl-job做为demo工程，快速搭建本身的持续集成项目，其余项目能够相似构建。

3、Jenkins部署和配置

一、安装
  1.1用特定版本的安装包安装
     安装包下载页：   https://pkg.jenkins.io/redhat-stable/
    （注意：会有一些安装版本和jdk版本匹配的问题，通常CentOS 6.5 安装版本jenkins-2.7.4-1.1.noarch.rpm是OK的）
  1.二、安装最新版本：
         按照文档来就没问题： https://jenkins.io/doc/book/getting-started/installing/#unix-linux
  1.三、启动和中止
      sudo service jenkins start/stop/restart
      sudo chkconfig jenkins on

二、全局配置

• 2.1 全局配置：点击系统管理，进入Global Tool Configuration
  

• 2.2 配置经常使用环境变量
  
  注意的点：全部配置须要配置在全局环境变量里面，让系统全部用户都能访问到，好比说maven，不能配置在特定的用户目录下，不然后面jenkins用户就没法执行mvn命令，而报错。
  jdk：
  

  git:

  maven:
  

三、 项目配置

• 3.一、新建一个项目

  点击新建，新建一个自由风格的软件项目

• 3.二、项目源码配置(使用git管理):

  首先须要安装插件：
     系统管理-》管理插件，在可选插件里找到这个，让后直接安装就能够

• 3.三、配置远程SSH

  在系统管理-》系统设置里，找到Publish over SSH

四、构建配置详细：

一、 General配置项目名称和简介
    二、源码管理配置git项目地址
    三、构建触发器配置远程构建脚本
    四、构建环境配置项目构建前须要执行的一些脚本
    五、构建，配置构建工具，好比maven打包，war包的上传，执行tomcat服务启动脚本
    六、构建后操做发布，构建后的邮件发送等操做

4.一、简介和配置

4.二、 配置项目源码地址和访问密码

4.三、 配置Credentials

4.四、构建环境

4.五、构建 配置构建命令 (这里的maven是前面全局环境变量中配置好的)

添加构建后操做(须要前面安装好远程ssh插件才行)

4.六、配置构建后操做

其中:

Transfer SetSource files：表示要上传的本地的war包及路径，可到工做空间去看
Remove prefix:表示要上传时要去除的文件夹，即只上传war包
remote driectory:即表示执行时的路径，至关于把war包上传到这里了
exec commad:要执行的命令，这里能够重命名jar包，启动tomcat服务器

七、构建后操做：

八、回到配置主页，进行构建

九、进入构建控制台查看构建日志，若是有错误，能够直接查看到

4、xxl-job的介绍

项目地址:
 https://github.com/xuxueli/xxl-job

概述：
XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
现已开放源代码并接入多家公司线上产品线，开箱即用。

特性：
- 一、简单：支持经过Web页面对任务进行CRUD操做，操做简单，一分钟上手；
- 二、动态：支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，即时生效；
- 三、调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现，可保证调度中心HA；
- 四、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
- 五、任务Failover：执行器集群部署时，任务路由策略选择"故障转移"状况下调度失败时将会平滑切换执行器进行Failover；
- 六、一致性：“调度中心”经过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
- 七、自定义任务参数：支持在线配置调度任务入参，即时生效；
- 八、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
- 九、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会从新分配任务；
- 十、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
- 十一、状态监控：支持实时监控任务进度；
- 十二、Rolling执行日志：支持在线查看调度结果，而且支持以Rolling方式实时查看执行器输出的完整的执行日志；
- 1三、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
- 1四、数据加密：调度中心和执行器之间的通信进行数据加密，提高调度信息安全性；
- 1五、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
- 1六、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 1七、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
- 1八、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不常用、最近最久未使用、故障转移；
- 1九、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
- 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python等类型脚本;
- 2一、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖以前调度；
- 2二、失败处理策略；调度失败时的处理策略，策略包括：失败告警（默认）、失败重试；