Jenkins 与 Docker 的持续集成实践一

时间  2019-11-18
标签 jenkins docker 持续 集成 实践 栏目 自动化构建 繁體版
原文   原文链接

持续集成(CI/CD)是一种软件开发实践。用于帮助团队成员频繁、快速的集成，测试他们的工做成果，以尽快发现集成错误。 更频繁、更早的集成意味着更早的发现问题。经过持续集成，及时发现和解决代码故障，提升代码质量，减小故障处理成本等等。html

常见持续集成工具

目前持续集成的生态愈来愈完善，工具也有不少，开源的或商业的。如：java

  • 最最流行的，也是使用最多的 Jenkins
  • 有着持续集成DNA的ThoughtWorks GO。理念："Deployment as pipeline" (华为容器平台应该是基于GO作的二次开发实现)
  • Atlassian工具链之一的Bamboo (数人云应该是基于Banboo实现的CI/CD)
  • 与Gitlab紧密集成的Gitlab CI
  • 专为开源打造的Travis CI，与Github紧密集成
  • 使用 python 语言实现的Buildbot，相信 pythoner 看到会喜欢

咱们的选型是 Jenkins，因此咱们来看下 Jenkinsnode

Jenkins

Jenkins 特色

  • Jenkins是开源的应用最普遍的持续集成工具，支持CI, CD；
  • Jenkins有不少插件，并且用户也能够自定义插件，可扩展性很是强；
  • Jenkins对Docker支持很是好，有一套完善的Docker插件；
  • Jenkins2.0开始支持Pipeline，一个很是强大的插件，使用基于Groovy的DSL，支持CI/CD流水线；
  • Jenkins 基于 Java 语言开发；

Jenkins 几个概念

  • master 是jenkins安装和运行的地方，它负责解析job脚本，处理任务，调度计算资源；
  • agent 负责处理从master分发的任务；
  • executor 就是执行任务的计算资源，它能够在master或者agent上运行。多个executor也能够合做执行一些任务；
  • job 任务，用来定义具体的构建过程；
  • Groovy 是一种基于JVM（Java虚拟机）的敏捷开发语言，它结合了Python、Ruby和Smalltalk的许多强大的特性，Groovy 代码可以与 Java 代码很好地结合，也能用于扩展示有代码。因为其运行在 JVM 上的特性，Groovy 可使用其余 Java 语言编写的库。Jenkins 用Groovy做为DSL；

  • pipeline 流水线即代码(Pipeline as Code)，经过编码而非配置持续集成/持续交付(CI/CD)运行工具的方式定义部署。流水线使得部署是可重现、可重复的；python

    流水线包括节点（Node）、阶段（Stage）和步骤（Step）。流水线执行在节点上。节点是Jenkins安装的一部分。流水线一般包含多个阶段。一个阶段包含多个步骤。流水线上手指南能够查看到更多的内容。git

    • node 在Pipeline中的context中，node是 job 运行的地方。 node会给job建立一个工做空间。工做空间就是一个文件目录，这是为了不跟资源相关的处理互相产生影响。工做空间是node建立的，在node里的全部step都执行完毕后会自动删除。
    • stage 阶段，stage是一个任务执行过程的独立的而且惟一的逻辑块，pipeline定义在语法上就是由一系列的stage组成的。 每个stage逻辑都包含一个或多个step。
    • step 步骤，一个step是整个流程中的一系列事情中的一个独立的任务，step是用来告诉Jenkins如何作。

  • Jenkinfile Jenkins支持建立流水线。它使用一种基于Groovy的流水线领域特定语言（Pipeline DSL）的简单脚。而这些脚本，一般名字叫Jenkinsfile。它定义了一些根据指定参数执行简单或复杂的任务的步骤。流水线建立好后，能够用来构建代码，或者编排从代码提交到交付过程当中所需的工做。Jenkins中的Jenkinsfile有点相似Docker中的Dockfile的感受github

Jenkins 部署

Jenkins组件其实很是少，安装部署也很是简单。 Jenkins按角色就两类： master节点和slave节点。master安装完成后，在控制台中添加节点便可。docker

下面以Dcoker的部署方式为例说一下Jenkins的部署：数据库

master 节点

  • 查看 docker hub 中 jenkins 的 image
[root@k3128v /home/huomingming]# docker search jenkins
NAME                                  DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
jenkins                               Official Jenkins Docker image                   2600      [OK]       
stephenreed/jenkins-java8-maven-git   Automated build that provides a continuous...   53                   [OK]
killercentury/jenkins-dind            Generic Jenkins CI with Docker Engine and ...   24                   [OK]
aespinosa/jenkins                     Sets up a container with jenkins installed...   22                   [OK]
cloudbees/jenkins-enterprise          CloudBees Jenkins Enterprise (Rolling rele...   18                   [OK]
blacklabelops/jenkins                 Docker Jenkins Swarm-Ready with HTTPS and ...   7                    [OK]
appcontainers/jenkins                 Centos/Debian/Ubuntu Based Customizable Je...   7                    [OK]
tianon/jenkins-slave                  SSHd, Java, and Docker-in-Docker specifica...   6                    [OK]
fabric8/jenkins-docker                Fabric8 Jenkins Docker Image                    4                    [OK]
blacklabelops/jenkins-swarm           Jenkins Swarm Slave Dockerized and Paramet...   4                    [OK]
eeacms/jenkins-slave                  Jenkins slave ready to run Docker image (J...   3                    [OK]
publicisworldwide/jenkins-slave       Jenkins Slave based on Oracle Linux             3                    [OK]
bitnami/jenkins                       Bitnami Docker Image for Jenkins                1                    [OK]
foxylion/jenkins                      Jenkins 2 with automated setup to support ...   1                    [OK]
enieuw/jenkins                        Jenkins                                         1                    [OK]
mrbobbytables/jenkins                 Jenkins CI container with Mesos integration     1                    [OK]
marcelhuberfoo/jenkins                jenkins build server docker image               1                    [OK]
garethjevans/jenkins                  Jenkins docker image with additional plugins    0                    [OK]
openfrontier/jenkins                  The official Jenkins docker plus some plug...   0                    [OK]
unox/jenkins                          Jenkins, with the jenkins user added to th...   0                    [OK]
oleksandrberezianskyi/jenkins         Jenkins image build on Debian 8 with Oracl...   0                    [OK]
brimstone/jenkins                     Jenkins, with docker, in docker.                0                    [OK]
indec/jenkins                         Docker image for custom jenkins container       0                    [OK]
dockersolutions/jenkins               Jenkins image used for SE demos                 0                    [OK]
virtuasphere/jenkins                  jenkins                                         0                    [OK]

能够看到第一个是官方提供的，因此咱们选择这个便可。api

  • 拉取 jenkins image
docker pull jenkins
  • 启动 jenkins 容器

jenkins没有数据库，全部数据都是存放在文件中的，首先在本地建立jenkins数据目录，用于保存jenkins的数据 这个目录须要按期的备份，用于容灾(当前jenkins容器所在节点因为不可抗因素没法使用时，能够在新机器上使用备份的数据启动新的jenkins master节点)。浏览器

sudo mkdir /var/jenkins
sudo chown 1000:1000 /var/jenkins
sudo docker run -p 8080:8080 -p 50000:50000 -v /var/jenkins:/var/jenkins_home --name my_jenkins -d jenkins

这样jenkins就成功跑起来了。能够直接经过机器的8080端口访问jenkins. 本地的/var/jenkins就至关于容器里jenkins用户的用户主目录，因此要保证该目录的权限为uid为j1000的用户目录。

  • 配置 jenkins

启动完 jenkins master 后，在浏览器中数据输入 http://jenkins_master_ip:8080 登陆 Jenkins 控制台进行接下来的安装和配置。 具体图就不贴出来了~~

  • 查看jenkins的版本
java -jar /usr/share/jenkins/jenkins.war --version

slave 节点

  • 安装 java jdk
yun install java-1.8.0-openjdk
  • 建立 jenkins 用户
$ useradd -m jenkins -d /home/jenkins
$ passwd jenkins
  • 建立工做目录
mkdir /data/jenkins
chown jenkins.jenkins /data/jenkins
  • 配置 ssh 互信，master免密码登录slave

master 有多种管理 slave 的方式，咱们选择SSH方式 在master节点中，切换到jenkins用户 ssh-keygen -t rsa 建立秘钥对 把公钥拷贝到slave节点

scp ~/.ssh/id_rsa.pub jenkins@slave_ip:~/.ssh/authorized_keys

确保在scp前，slave节点根目录下.ssh目录已存在

chmod 700 authorized_keys

使用 jenkins 来构建 docker 是须要安装插件的。那咱们须要安装哪些插件呢？

Jenkins 有哪些 Docker 的 Plugins

altalt

是很是丰富的，但并非咱们都能用的上，因此须要根据你使用的环境和平台来选择适合本身的 plugin 安装就能够了。 每一个 plugin 都须要适配 Jenkins 的版本，且每一个 plugin 也须要依赖一些其它 plugin，上面都已经作了标注，须要配套来用。

这里介绍几个经常使用的 Docker 插件

  • Docker Commons Plugin

    是全部Docker Plugins的基础

    其基本功能：

    • API for managing Docker image and container fingerprints
    • Credentials and location of Docker Registry
    • Credentials and location of Docker Daemon (aka Docker Remote API)
    • ToolInstallation for Docker CLI clients
    • DockerImageExtractor extension point to get Docker image relations from jobs

    • Simple UI referring related image fingerprints in Docker builds

      Docker Commons Plugin

  • Docker Plugin

    该插件是将 docker 做为 jenkins 的 slave 来使用，来在 docker 容器种完成项目的build，build 完成后该容器 slave 容器就会被销毁。全部的工做都是在 slave 容器内完成。

    更多使用细节 Docker Plugin

  • docker-build-step

    该插件在 build 过程种增长了对 Docker 命令的支持。

    更多使用细节docker-build-step

  • Docker Pipeline Plugin

    基于 Docker Commons Plugin 实现的一些上层的基于 Docker 的 Pipeline 编排

    更多使用细节Docker Pipeline Plugin

  • Docker Hub Notification Trigger Plugin

    该插件提供了当registry中的image发生变化时触发build新镜像的功能。

  • CloudBees Docker Build and Publish

    该插件提供了经过 Dockerfile 来构建项目并将生成的镜像上传到镜像仓库的功能。

    更多使用细节 CloudBees Docker Build and Publish

  • CloudBees Docker Custom Build Environment

    This plugin allows the definition of a build environment for a job using a Docker container.

    该插件适用于 “自由风格的软件项目”，如图：alt

    更多使用细节CloudBees Docker Custom Build Environment

  • CloudBees Docker Traceability 用于追踪经过jenkins启停的容器的事件

  • Kubernetes

    This plugin allows Jenkins agents to be dynamically provisioned on a Kubernetes cluster. The aim of the Kubernetes plugin is to be able to use a Kubernetes cluster to dynamically provision a Jenkins agent (using Kubernetes scheduling mechanisms to optimize the loads), run a single build, then tear-down that slave.

    与 Kubernetes 结合，经过 kubernetes 提供 jenkins 的 slave 节点。利用 kubernetes 的调度功能提供快速的启停 slave 节点执行 build 等任务。目前是0.11版本，稳定性有待验证。

    更多使用细节 kubernetes plugin

Jenkins 有没有 API？

由于，咱们不是直接在 Jenkins 的 Dashbord 来操做， 而是集成到现有平台，因此咱们须要使用它的API。

Jenkins的Remote API以REST的形式进行提供。

例如，咱们搭建的Jenkins站点为http://myjenkins.com:8080。

那么，访问http://myjenkins.com:8080/api 便可查看到该站点全部可用的API；

查询操做

alt

执行一些动做

alt

例如，我要建立一个 job，名字为 my_job

my_job的配置文件

<?xml version='1.0' encoding='UTF-8'?>
<project>
  <actions/>
  <description></description>
  <keepDependencies>false</keepDependencies>
  <properties/>
  <scm class="hudson.scm.NullSCM"/>
  <canRoam>true</canRoam>
  <disabled>false</disabled>
  <blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding>
  <blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding>
  <triggers class="vector"/>
  <concurrentBuild>false</concurrentBuild>
  <builders/>
  <publishers/>
  <buildWrappers/>
</project>

调用 api 建立 my_job

curl -X POST http://www.xxx.xxx/jenkins/createItem?name=my_job  --user uname:pass --data-binary "my_job_config.xml" -H "Content-Type: application/xml"

而后，你就能够在 Jenkins dashboard 上看到这个 job 了。它的管理页面为http://myjenkins.com:8080/job/my_job， 那么咱们访问 http://myjenkins.com:8080/job/my_job/api/ 便可查看到该job可用的API。

更多的 api 介绍能够参考Jenkins的官方wiki，这里只是个引子，在此就不过多进行介绍。

第一篇先到这吧，下一篇主要如下面几个问题展开

Pipeline 和 Jenkinsfile 的使用及如何使用这些 plugins 实现项目构建

Jenkins 的性能，扩展性，高可用

Jenkins 数据监控(天天执行次数、成功、失败等指标)

Jenkins 压测

Jenkins 构建 docker 镜像常见问题

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程