实操进阶 | Jenkins 和 Kubernetes 云上的神秘代理

时间 2019-11-21

原文原文链接

最近咱们构建和部署服务的方式与原来相比简直日新月异，像那种笨拙的、单一的、用于构建单体式应用程序的方式已是过去式了。咱们努力了这么久，终于达到了如今的效果。如今的应用为了提供更好的拓展性和可维护性，都会去拆解成各类相互依赖小、解耦性强的微服务，这些服务有各自的依赖和进度。若是想去构建服务，从一开始，就应该使用 CI/CD 的方式；固然，若是你走上了这条路， Jenkins 就是你的良师益友。node

若是你是作微服务，那让咱们在开始以前先花些时间想想。若是只在 Jenkins 上构建单体式应用程序，那你确定天天都会运行不少 Jenkins job, 并且要不厌其烦地运行不少次。因此，咱们应该好好想清楚如何来作出一些改变。其实只须要付出一些努力，Jenkins 就能够很好地解决这种事情。golang

Jenkins 进阶之路docker

做为 DevOps 从业者，我遇到的最大问题是如何管理并优化本身的 Jenkins agent 结构。若是只是实验性地用 Jenkins跑一些流水线，那根本不用考虑 agent 的事情。若是天天要跑成百上千条流水线的话，那怎么去作优化就是一件很是很是重要的事情。在 Jenkins 进阶之路中，我也尝试了各类不一样的方式来寻找Jenkins agent 的最佳使用方式。若是你也和我同样经历过，那下面这些事情你必定会很熟悉。express

下面是我在这些年中使用 Jenkins 的各个阶段：bash

全部构建都在 master 节点上跑，在这个节点上运行全部的组件。(我给这个阶段起了个可爱的名字， Hello Jenkins)服务器
建立一个 Jenkins EC2 代理，而且在这个代理上运行全部的构建，就是大而全，这个节点什么都能作。若是须要同时作多条任务，那就把这个大而全的节点克隆一份。(这个阶段我命名为 Monster Agent.)网络
为每种服务建立不一样的 Jenkins EC2 的节点(这个阶段叫Snowflake Agent.)socket
在容器中运行流水线的全部步骤。好比，在 Jenkins 中使用 Docker Plugin 插件将代理挂载到容器中，或者使用 multi-stage Dockerfiles 把全部构建，测试打包的流程都封装起来。这两种方法都是很好的容器抽象化的开端，而且容许轻松地将制品从一个容器复制到另外一个容器。固然了，每种方法都须要访问 Docker engine 。为了让个人 Jenkins 代理可以正常工做，如今我用如下几种方式来管理 docker host：ide

在Jenkins 主容器中运行一个Docker engine - Docker in Docker (DinD)；
把主机上的 Docker socket 挂载到容器中，让容器可以以 sidecar 的方式运行；
为 Jenkins 主服务器配置单个外部 EC2 Docker 主机，以用于在容器中启动构建；
使用 EC2 插件和包含 Docker Engine 的 AMI 动态启动代理，而后运行多阶段 Dockerfile 中的全部步骤。以上这些阶段各有利弊，但都是为了让咱们从管理 Jenkins 节点中解放出来。不过，最近我又进阶到了另一个阶段：Jenkins on Kubernetes。

一旦在 Jenkins 中把构建节点和 job 都容器化了，迁移工做平台将变得十分简单易行。这里郑重声明一下，在使用这个方法前我一直没有接触过 Kubernetes。也就是说，在 Google Cloud Platform（GCP）GKE 中建立 Kubernetes 集群，使用 Helm Chart启动 Jenkins master ,并在 Kubernetes 集群中的 Jenkins 代理中运行构建是很是简单的。微服务

流水线脚本中启动 K8s 中的代理

如何配置 Jenkins 才能使流水线脚本可以在 K8s 集群中启动 Jenkins 节点。首先要先安装 Kubernetes plugin 插件。有意思的是，当我用 Helm chart 来安装Jenkins 时，安装好的 Jenkins 里面已经有了该插件。还有一个前提，启动的 Jenkins 节点要和 Jenkins master 在同一个 K8s 集群里。

一旦在 K8s 中运行了 Jenkins master 节点，只须要简单配置几步，就能启动一个小构建。

配置 Jenkins Master

为了保证 Jenkins 可以访问 K8s 集群的资源，首先须要按照如下步骤建立一些凭据：

进入 Jenkins 的 UI 界面，点击左边导航栏里的凭据连接
点击 Stores scoped to Jenkins 列表下 global 中的 Add credentials (将鼠标悬停在连接旁边便可看到箭头)
点击添加凭证
写好 Kubernetes Service Account
将范围设置为全局
点击 OK 按钮这样 Jenkins 就可使用这个凭据去访问 K8s 的资源。

在 Jenkins Master 中配置云

下一步就是在 Jenkins 中设置云的配置：

进入 Jenkins UI 界面，点击系统管理 → 系统设置；
进入管理界面后查找『云』（通常在下面），而后点击『新增一个云』，选择 kubernetes 类型；
以下这些是必填的参数： Name 自定义，默认是 kubernetes； Kubernetes URL kubernetes.default -通常是从 service account 自动配置； Kubernetes Namespace 通常是 default 除非要在一个特殊的命名空间，不然不要动； Credentials 选择上一步建立的凭据； Jenkins URL http://<your_jenkins_hostname>:8080； Jenkins tunnel <your_jenkins_hostname>:5555 - 用来和 Jenkins 启动的 agent 进行交互的端口；

你看，只须要几个参数就能在 K8s 集群中启动一些节点了，固然你的环境须要的话也能够作一些其余的调整。

如今你已经能够经过定义一些 pod 实现Jenkins master 访问 K8s 集群了。pod实际上是 K8s 中的概念，在一个 pod 里面会有一个或者多个容器，它们共享网络还有存储，咱们能够在这个 pod 中执行一些构建工做。每个 Jenkins 节点都是做为 K8s pod 来启动的。这个 pod 里面常常会包含一个默认的 JNLP 容器，还有一些pod 模板中定义的容器。如今有至少两种方法来定义pod template。

经过 Jenkins UI 配置一个 pod template

Manage Jenkins → Configure Systems；
找到以前配置 Jenkins K8s 的地方；
点击 Add Pod Template button 选择 Kubernetes Pod Template；
输入下面的值： Name 自定义； Namespace default -除非想换个在上一步自定义的命名空间； Labels 自定义 - 这个将用来匹配你在 jenkinsfile 中的 label 值； Usage 若是想让这个 pod 做为默认节点的话，就选择 "Use this node as much as possible"，若是选择 "Only build jobs with label matching expressions matching this node" 的话那就是只有在 Jenkins 脚本中定义的label匹配的构建才能使用这个节点； The name of the pod template to inherit from 这个能够置空，如今还用不到； Containers 在 pod 中启动的容器，下面会有详细介绍； EnvVars 在 pod 中注入的环境变量； Volumes 在 pod 中挂载的任何一种卷；

须要记住，在一个 pod 中会有不止一个容器，它们都是共存的。若是你是用 Helm chart 安装 Jenkins 的话，pod 中就会包含 JNLP 这个容器，这个容器也是 Jenkins agent 中必须包含的。为了完成更多服务的构建，还须要添加一些其余工具链的容器。

添加容器模板

进入 Jenkins UI 界面，回到上一步建立 pod template ；
点击 Add Container 按钮，选择 Container Template；
输入下面的值： Name 自定义； Docker image 根据需求来写，好比在构建一个go 写的应用时，能够输入 golang:1.11-alpine3.8； Label 代表要用在流水线脚本中引用此容器模板的标签字符串； Always pull image 若是想让 pod 启动的时候都去拉取镜像就选择这个；

你能够保留其余参数的默认值，可是能够看到该插件能够对 pod 以及在其中运行的各个容器进行详细控制。你能够经过此插件设置在 Kubernetes pod 配置中的任何值。你还能够经过输入原始 YAML 来注入配置数据。无需因选项过多而分心，选择配置它们中的一小部分就能够得到工做环境。

单击容器模板中的“添加环境变量”按钮，将环境变量注入特定容器，也能够单击模板中的“添加环境变量”按钮，将环境变量注入全部的容器。

如下环境变量会自动注入默认的 JNLP 容器，来保障它能自动链接到 Jenkins 主服务器：

JENKINS_URL: Jenkins 网页界面网址
JENKINS_JNLP_URL: Jenkins 特定 slave 中 jnlp 的 url
JENKINS_SECRET: 身份验证的密钥
JENKINS_NAME: Jenkins 代理的名称

若是单击“添加卷”按钮，将看到几个用于添加卷的选项，这里使用 Host Path Volume 选项将 docker socket 安装在 pod 中。而后，能够运行安装了 Docker 客户端的容器，而且来构建和推送 Docker 镜像。

此时，咱们为 Kubernetes 集群建立了一个云配置，并定义了一个由一个或多个容器组成的 pod。如今如何使用它来运行 Jenkins 工做？

很简单，只须要咱们在 Jenkins 流水线脚本中经过标签引用 pod 和容器就能够了。本文中的示例是使用脚本流水线，固然您可使用声明式流水线语法实现相同的结果：

node('test-pod') {
    stage('Checkout') {
        checkout scm
    }
    stage('Build'){
        container('go-agent') {
            // This is where we build our code.
        }
    }
}

复制代码

用 jenkinsfile 来实现相同的功能

经过 UI 配置插件如今看起来很不错。但有一个明显的问题，配置不能像源代码同样进行版本控制和存储。幸运的是，您能够直接在 Jenkinsfile 中建立整个 pod 定义。哈哈，在 Jenkinsfile 中有什么不能作的呢?

能够将 UI 或 YAML 定义中可用的任何配置参数添加到 podTemplate 和containerTemplate 部分。

在下面的示例中，我已经定义了一个包含两个容器模板的 pod。

pod 标签将会用于节点，表示想要启动此 pod 实例。

直接在节点内定义但没有在容器块中定义的任何步骤，均可以在默认的 JNLP 容器中运行。

容器块用于表示该容器块内的步骤应在具备给定标签的容器内运行。我已经定义了一个标签为 golang 的容器模板，我将用它来构建 Go 可执行文件，最终将其打包成 Docker 镜像。在 volumes 中，已经指出想要挂载主机的 Docker 套接字，但仍然须要 Docker 客户端使用 Docker API 与它进行交互。所以，已经定义了一个标签为 docker 的容器模板，该模板使用安装了 Docker 客户端的镜像。

podTemplate(
    name: 'test-pod',
    label: 'test-pod',
    containers: [
        containerTemplate(name: 'golang', image: 'golang:1.9.4-alpine3.7'),
        containerTemplate(name: 'docker', image:'trion/jenkins-docker-client'),
    ],
    volumes: [
        hostPathVolume(mountPath: '/var/run/docker.sock',
        hostPath: '/var/run/docker.sock',
    ],
    {
        //node = the pod label
        node('test-pod'){
            //container = the container label
            stage('Build'){
                container('golang'){
                    // This is where we build our code.
                }
            }
            stage('Build Docker Image'){
                container(‘docker’){
                    // This is where we build the Docker image
                }
            }
        }
    })
复制代码

在基于 Docker 的流水线脚本中，我构建了 Docker 镜像并将其推送到 Docker 仓库，对我来讲，可以复制这些配置信息很是重要。完成后，我已准备好使用gcloud（Google Cloud SDK）构建镜像，并将该镜像推送到 Google Container Registry，以便部署到 K8s 群集。

使用 gcloud 镜像指定了一个容器模板，并将 docker 命令更改成 gcloud 命令。、

就这么简单！

podTemplate(
    name: 'test-pod',
    label: 'test-pod',
    containers: [
        containerTemplate(name: 'golang', image: 'golang:1.9.4-alpine3.7'),
        containerTemplate(name: 'gcloud', image:'gcr.io/cloud-builders/gcloud'),
    ],
    {
        //node = the pod label
        node('test-pod'){
            //container = the container label
            stage('Build'){
                container('golang'){
                    // This is where we build our code.
                }
            }
            stage('Build Docker Image'){
                container(‘gcloud’){
                    //This is where we build and push our Docker image.
                }
            }
        }
    })
复制代码

在 Kubernetes 上运行 Jenkins master、Jenkins 代理，构建和部署示例应用程序其实只花了几个小时。但以后，我花了一个周末的时间才深刻了解该平台。若是你学得够快，相信你在几天内就能够彻底掌握而且灵活运用这个平台了。