Java之Jenkins工具【转】

时间 2019-11-25

标签 java jenkins 工具栏目 Java 繁體版

原文原文链接

1.1 前言

Jenkins是一个用Java编写的开源的持续集成工具。在与Oracle发生争执后，项目从Hudson项目独立。php

Jenkins提供了软件开发的持续集成服务。它运行在Servlet容器中（例如Apache Tomcat）。它支持软件配置管理（SCM）工具（包括AccuRev SCM、CVS、Subversion、Git、Perforce、Clearcase和RTC），能够执行基于Apache Ant和Apache Maven的项目，以及任意的Shell脚本和Windows批处理命令。Jenkins的主要开发者是川口耕介。Jenkins是在MIT许可证下发布的自由软件。html

1.1.1 Jenkins功能

一、持续的软件版本发布/测试项目。前端

二、监控外部调用执行的工做。java

1.2 怎么理解持续集成、持续交付、持续部署呢？

1.2.1 持续集成

持续集成（英语：Continuous integration，缩写为 CI），一种软件工程流程，将全部工程师对于软件的工做复本，天天集成数次到共用主线（mainline）上。git

这个名称最先由葛来迪·布区（Grady Booch）在他的布区方法中提出，可是他并无提到要天天集成数次。以后成为极限编程（extreme programming，缩写为XP）的一部分。在测试驱动开发（TDD）的做法中，一般还会搭配自动单元测试。web

持续集成的提出，主要是为了解决软件进行系统集成时面临的各项问题，极限编程称这些问题为集成地狱（integration hell）。docker

持续集成主要是强调开发人员提交了新代码以后，马上进行构建、（单元）测试。根据测试结果，咱们能够肯定新代码和原有代码可否正确地集成在一块儿。简单来说就是：频繁地（一天屡次）将代码集成到主干。shell

持续集成目的在产生如下效益如：数据库

ü 及早发现集成错误且因为修订的内容较小因此易于追踪，这能够节省项目的时间与成本。编程

ü 避免发布日期的前一分钟发生混乱，当每一个人都会尝试为他们所形成的那一点点不兼容的版本作检查。

ü 当单元测试失败或发生错误，若开发人员须要在不除错的状况下还原代码库到一个没有问题的状态，只须要放弃一小部分的更改 (由于集成的次数频繁)。

ü 让 "最新" 的程序可保持可用的状态供测试、展现或发布用。

ü 频繁的提交代码会促使开发人员建立模块化，低复杂性的代码。

ü 防止分支大幅偏离主干。若是不是常常集成，主干又在不断更新，会致使之后集成的难度变大，甚至难以集成。

1.2.2 持续交付

持续交付（英语：Continuous delivery，缩写为 CD），是一种软件工程手法，让软件产品的产出过程在一个短周期内完成，以保证软件能够稳定、持续的保持在随时能够释出的情况。

它的目标在于让软件的建置、测试与释出变得更快以及更频繁。这种方式能够减小软件开发的成本与时间，减小风险。

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。好比，咱们完成单元测试后，能够把代码部署到链接数据库的 Staging 环境中更多的测试。若是代码没有问题，能够继续手动部署到生产环境中。

1.2.3 持续部署

持续部署（英语：Continuous Deployment，缩写为 CD），是持续交付的下一步，指的是代码经过评审之后，自动部署到生产环境。

有时候，持续部署也与持续交付混淆。持续部署意味着全部的变动都会被自动部署到生产环境中。持续交付意味着全部的变动均可以被部署到生产环境中，可是出于业务考虑，能够选择不部署。若是要实施持续部署，必须先实施持续交付。

持续部署即在持续交付的基础上，把部署到生产环境的过程自动化。

关键字： CI/CD 持续集成/持续交付/持续部署

1.3 安装配置JENKINS

了解网Jenkins后，如今进行Jenkins的安装

1.3.1 环境说明

推荐的硬件配置

1 GB的RAM

50 GB的驱动器空间

系统环境

[root@Jenkins ~]# cat /etc/redhat-release 
CentOS Linux release 7.4.1708 (Core) 
[root@Jenkins ~]# uname -r
3.10.0-693.el7.x86_64
[root@Jenkins ~]# getenforce 
Disabled
[root@Jenkins ~]# systemctl status firewalld.service 
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

软件要求

Java 8--不管是Java运行时环境（JRE）仍是Java开发工具包（JDK）均可以。

# 可使用open jdk
[root@Jenkins ~]# yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel
[root@Jenkins ~]# java -version
openjdk version "1.8.0_151"
OpenJDK Runtime Environment (build 1.8.0_151-b12)
OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)

1.3.2 安装Jenkins

软件下载

官方仓库  https://pkg.jenkins.io/redhat-stable/
清华大学开源软件镜像站  https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/

下载相应的数据包便可，我这里使用的是jenkins-2.73.1-1.1.noarch.rpm

安装jenkins

rpm -ivh jenkins-2.73.1-1.1.noarch.rpm

启动jenkins

/etc/init.d/jenkins start

检查端口信息

[root@Jenkins ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1213/sshd           
tcp6       0      0 :::8080                 :::*                    LISTEN      1672/java           
tcp6       0      0 :::22                   :::*                    LISTEN      1213/sshd

RPM包安装的内容

[root@Jenkins ~]# rpm -ql jenkins
/etc/init.d/jenkins         # 启动文件
/etc/logrotate.d/jenkins    # 日志分割配置文件
/etc/sysconfig/jenkins      # jenkins主配置文件
/usr/lib/jenkins            # 存放war包目录
/usr/lib/jenkins/jenkins.war   # war 包 
/usr/sbin/rcjenkins         # 命令
/var/cache/jenkins          # war包解压目录 jenkins网页代码目录
/var/lib/jenkins            # jenkins 工做目录
/var/log/jenkins             # 日志

配置文件说明

[root@Jenkins ~]# grep "^[a-Z]" /etc/sysconfig/jenkins
JENKINS_HOME="/var/lib/jenkins"    #jenkins工做目录
JENKINS_JAVA_CMD=""
JENKINS_USER="jenkins"       # jenkinx启动用户
JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true"
JENKINS_PORT="8080"          # 端口
JENKINS_LISTEN_ADDRESS=""
JENKINS_HTTPS_PORT=""
JENKINS_HTTPS_KEYSTORE=""
JENKINS_HTTPS_KEYSTORE_PASSWORD=""
JENKINS_HTTPS_LISTEN_ADDRESS=""
JENKINS_DEBUG_LEVEL="5"
JENKINS_ENABLE_ACCESS_LOG="no"
JENKINS_HANDLER_MAX="100"     # 最大链接
JENKINS_HANDLER_IDLE="20"
JENKINS_ARGS=""

1.3.3 web界面安装

浏览器访问: http://10.0.0.64:8080

解锁Jenkins，密码从命令行中获取

[root@Jenkins ~]# cat /var/lib/jenkins/secrets/initialAdminPassword
3afe5ad49a794ac2b1a72811f5eb3c9b

输入受权密码，而后点击下一步

稍等一会来导安装插件选择的页面，将此页面关闭，在安装完成Jenkins后安装插件。

关闭安装插件选择后，选择开始使用Jenkins

安装完成，显示界面

安装Jenkins插件

系统管理 >> 管理插件

选择本身须要的插件进行安装便可，也可选择所有安装。

插件安装完成后插件安装目录的内容

至此Jenkins安装完成

1.3.4 Jenkins配置

1. 配置jenkins并发执行数量，提升执行效率

系统管理 >> 系统设置 >> Maven项目配置

2. 设置邮件，可以在测试完成后，主动发邮件告知测试状况

系统管理 >> 系统设置 >> Jenkins Location

向下拉，找到邮件通知，配置邮件的smtp信息

配置完成后点击 Test configuration 进行测试，测试成功后，点击保存

1.4 Jenkins使用

1.4.1 建立一个新的任务

建立一个新的任务

输入项目的名称，选择构建只有分风格的软件

1.4.2 将Jenkins与gitlab联合

gitlab的详细安装方法参照： http://www.cnblogs.com/clsn/p/7929958.html

建立公钥和私钥

[root@Jenkins ~]# ssh-keygen 
Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:5SGYye8oxCKFJjddb4W8JC0RAQhBWCvuG8aZL8eMJs4 root@Jenkins
The key's randomart image is:
+---[RSA 2048]----+
|==....=* ..      |
|...o oo==.       |
|+.= . =++.o      |
|++ o   o.+ .     |
|... o   S .      |
|o.oo   o         |
| B+ . . .        |
|++++ .           |
|+Eo.             |
+----[SHA256]-----+
[root@Jenkins ~]# cat .ssh/id_rsa.pub 
[root@Jenkins ~]# cat .ssh/id_rsa

在gitlab中添加公钥id_rsa.pub

在jenkins中添加私钥id_rsa

在首页中，点击项目名称的下拉监听

选择源码管理，先将gitlab的项目地址复制过来

选择SSH密钥和证书，而后选择直接输入，将私钥复制到下框中便可

添加完成后，点击保存

选择刚才建立的证书，完成后，选择构建

选择构建

拉到最底部，选择使用shell脚本

脚本内容

建立测试环境

[root@Jenkins ~]# mkdir  -p /data/www
[root@Jenkins ~]# chown -R jenkins.jenkins /data/

选择构建后的操做，让每次构建完成后都将结果发送给管理员

1.4.3 测试手动集成

回到主页，点击右侧的按钮进行测试

部署完成

查看部署日志

查看部署结果

[root@Jenkins ~]# ll /data/www/
总用量 4
-rw-r--r-- 1 jenkins jenkins 4 11月 30 21:22 flag
-rw-r--r-- 1 jenkins jenkins 0 11月 30 21:22 README.md

1.4.4 自动测试（gitlab主动通知Jenkins测试）

该功能会使用到一个插件 gitlab plugin

配置gitlab认证

添加一个新的凭证

从gitlab的设置中将 token复制过来

将复制的token粘贴到api token中，点ok

在系统配置中找到Gitlab 将信息进行填写，Credentials 选择刚刚建立对的便可

打开项目，编辑项目的构建触发器

在gitlab上配置链接jenkins ，将Jenkins的Secret token 与Build URL 复制到gitlab中

保存以前先进程测试，测试成功后进行保存

在gitlab进行上传文件，能够测试。

在日志中显示是 Started by GitLab push by Administrator 即表示自动集成成功

1.5 代码上线方案

1.5.1 早期手动部署代码

纯手动scp上传代码。

纯手动登录，Git pull 或者SVN update。

纯手动xftp上传代码。

开发发送压缩包，rz上传，解压部署代码。

缺点：

全程运维参与，占用大量时间。

若是节点多，上线速度慢。

人为失误多，目录管理混乱。

回滚不及时，或者难以回退。

上线方案示意图：

1.5.2 合理化上线方案

一、开发人员需在我的电脑搭建LAMP环境测试开发好的网站代码，而且在办公室或 IDC机房的测试环境测试经过，最好有专职测试人员。

二、程序代码上线要规定时间，例如：三天上线一次，如网站需常常更新可天天下午 17点上线，这个看网站业务性质而定，原则就是影响用户体验最小。

三、代码上线以前需备份，网站程序出了问题方便回退，另外，从上线技巧上讲，上传代码时尽量先传到服务器网站临时目录，传完整后一步mv过去，或者经过In作软连接— 线上更新代码的思路。若是严格更新，把应用服务器从集群节点平滑下线，而后更新。

四、尽可能由运维人员管理上线，对于代码的功能性，开发人员更在乎，而对于代码的性能优化和上线后服务器的稳定，运维更在乎服务器的稳定，所以，若是网站宕机问题归运维管，就要让运维上线，这样更规范科学。不然，开发随意更新，出了问题运维负责，这样就错了，运维永远没法抬头。

图·web代码规范化上线流程图

1.5.3 大型企业上线制度和流程

JAVA代码环境，上线时，有数台机器同时须要更新或者分批更新 ↓

1).本地开发人员取svn代码。当天上线提交到trunk，不然，长期项目单开分支开发，而后在合并主线(trunk)
2).办公内网开发测试时，由开发人员或配置管理员经过部署平台jenkins实现统一部署，（即在部署平台上控制开发机器从svn取代码，编译，打包，发布到开发机，包名如idc_dep.war）.
3).开发人员通知或和测试人员一块儿测试程序，没有问题后，由配置管理员打上新的tag标记。这里要注意，不一样环境的配置文件是随代码同时发布的。
4).配置管理员，根据上一步的tag标记，checkout出上线代码，并配置好IDC测试环境的全部配置，执行编译，打包(mvn,ant)(php不须要打包)，而后发布到IDC内的统一分发服务器。
5).配置管理员或SA上线人员，把分发的程序代码内容推送到相关测试服务器（包名如idc_test.war），而后通知开发及测试人员进行测试。若是有问题向上回退，继续修改。
6).若是IDC测试没有问题，继续打好tag标记，此时，配置管理员，根据上步的tag标记，checkout出测试好的代码，并配置好IDC正式环境的全部配置，执行编译，打包(mvn,ant)(php不须要打包)，而后发布到IDC内的统一分发服务器主机，准备批量发布。
7).配置管理员或SA上线人员，把分发的内容推送到相关正式服务器（包名如idc_product.war）,而后通知开发及测试人员进行测试。若是有问题直接发布回滚指令。

　　 IDC正式上线的过程对于JAVA程序，能够是AB组分组上线的思路，即平滑下线一半的服务器，而后发布更新代码，重启测试，无问题后，挂上更新后的服务器，同时再平滑下线另外一半的服务器，而后发布更新代码测试（或者直接发布后，重启，挂上线）

1.5.4 php程序代码上线的具体方案

　　对于PHP上线方法：发布代码时（也须要测试流程）能够直接发布到正式线临时目录，而后mv或更改link的方式发布到正式上线目录，不须要重启http服务。这是新朗，赶集的上线方案。

1.5.5 JAVA程序代码上线的具体方案

对于java上线方法:较大公司须要分组平滑上线（如从负载均衡器上摘掉一半的服务器），发布代码后，重启服务器测试，没问题后，挂上上好线的一半，再下另一半。若是前端有DNS智能解析，上线还能够分地区上线若干服务器，逐渐普及到全国的服务器，这个被称为“灰度发布”，在后面门户网站上线的知识里咱们在讲解。

1.5.6 代码上线解决方案注意事项

 
          1).上线的流程里，办公室测试环境-->IDC测试环境-->正式生产环境，全部环境中的全部软件均应版本统一，其次尽可能单一，不然将后患无穷，开发测试成功，IDC测试就可能有问题（如:操做系统，web服务器，jdk,php,tomcat,resin等版本） 
         
          2).开发团队小组办公内部测试环境测试（该测试环境属于开发小组维护，或定时自动更新代码），代码有问题返回给某开发人员从新开发。 
         
          3).有专门的测试工程师，程序有问题直接返回给开发人员（此时返回的通常为程序的BUG，称为BUG库），无问题进行IDC测试 
         
          4).IDC测试由测试人员和运维人员参与，叫IDCtest,进行程序的压力测试，有问题直接返回给开发人员，无问题进行线上环境上线。 
         
          5).数台服务器代码分发上线方案举例（JAVA程序） 
         
          　　 A:假设同业务服务器有6台，将服务器分为A,B两组，A组三台，B组三台，先对A组进行从负载均衡器上平滑下线，B组正常提供服务，避免服务器因上线影响业务。 
         
          　　 B:下线过程是经过脚本将A组服务器从RS池（LVS,NGINX,HAPROXY,F5等均有平滑方案）中踢出，避免负裁均衡器将请求发送给A组服务器（此时的时间应该为网站流量少时，通常为晚上） 
         
          　　 C:将代码分发到A组服务器的站点目录下，对A组服务器上线并重启服务，并由专业的测试人员进行访问测试，测试成功后，挂上A组的服务器，同时下线B组服务器，B组代码上线操做测试等和A组相同，期间也要观察上线提供服务的服务器情况，有问题及时回滚。 
         
          6).特别说明：若是是PHP程序，则上线能够简单化，直接将上线代码（最好全量）发布到全部上线服务器的特定目录后，分发完成后，一次性mv或ln到站点目录，固然测试也是少不了的。测试除了人员测试外，还有各类测试脚本测试各个相关业务接口。 
         
          7).大多数门户公司的前端页面都已经静态化或者cache了，所以，动态的部分访问平时就不会特别多，流量低谷时就更少了。再加上是平滑上下线，所以基本上

1.6 参考文献

1. https://zh.wikipedia.org/wiki/持續整合

2. https://www.zhihu.com/question/23444990/answer/89426003

3. https://www.mindtheproduct.com/2016/02/what-the-hell-are-ci-cd-and-devops-a-cheatsheet-for-the-rest-of-us/

4. http://t.cn/RYKgMtc

5. http://www.cnblogs.com/can-H/articles/7346724.html

6. https://www.abcdocker.com/abcdocker/2041

本博文中2017年11月11日以前使用的系统版本为: CentOS release 6.9 (Final) 内核版本为： 2.6.32-696.10.1.el6.x86_64 在2017年11月11日以后发布的博文使用的系统版本为: CentOS Linux release 7.4.1708 (Core) 内核版本为： 3.10.0-693.el7.x86_64