搭建基于Jenkins, Apache Mesos和Marathon的弹性高可用的持续集成环境

【编者按】持续集成的开发实践是目前的一个热门话题，在本文中，数人科技云平台负责人周伟涛解析其利用开源的Jenkins，Apache Mesos和Marathon搭建弹性的，高可用的持续集成环境的实践，详细介绍了环境设置，在Marathon上部署Jenkins的master实例，配置Jenkins Master实现弹性伸缩，在内部的代码库或者 github 上建立一个 git repo，以及使用 marathon 部署可持久化的 Jenkins Master等步骤。

---

持续集成（CI）是一种软件开发实践，使用得当，它会极大的提升软件开发效率并保障软件开发质量；Jenkins是一个开源项目，它提供了一种易于使用的持续集成系统；Mesos是Apache下的一个开源的统一资源管理与调度平台，它被称为是分布式系统的内核；Marathon是注册到Apache Mesos上的管理长时应用（long-running applications）的Framework，若是把Mesos比做数据中心Kernel的话，那么Marathon就是init或者upstart的daemon。

本文旨在探讨如何利用Jenkins，Apache Mesos和Marathon搭建一套弹性的，高可用的持续集成环境。

为何要把Jenkins运行到Apache Mesos上

把Jenkins运行到Apache Mesos上，或者说利用Apache Mesos向Jenkins提供slave资源，最主要的目的是利用Mesos的弹性资源分配来提升资源利用率。经过配置Jenkins-on-Mesos插件，Jenkins Master能够在做业构建时根据实际须要动态的向Mesos申请slave节点，并在构建完成的一段时间后将节点归还给mesos。

同时，Marathon会对发布到它之上的应用程序进行健康检查，从而在应用程序因为某些缘由意外崩溃后自动重启该应用。这样，选择利用Marathon管理Jenkins Master保证了该构建系统的全局高可用。并且，Jenkins Master自己也经过Marathon部署运行在Mesos资源池内，进一步实现了资源共享，提升了资源利用率。

下面两张图形象的说明了Marathon将Jenkins Master部署到Mesos资源池，以及Jenkins Master使用Mesos资源池进行做业构建的整个过程。

环境设置

为了便于理解，这里我简化了Mesos/Marathon集群的架构，再也不考虑集群自己的高可用性。至于如何利用zookeeper配置高可用的mesos/marathon集群，能够参考Mesosphere的官方文档，这里再也不展开。

我搭建了一个包含40个节点 192.168.3.4-192.168.3.43 的Mesos集群，其中一个节点用做运行Marthon及Mesos-master，其它39个节点做为mesos的slave，以下所示。

配置启动Marathon，Mesos-Master和Mesos-Slave后，下面的整个操做都将在这个集群上完成。

在Marathon上部署Jenkins的master实例

Marathon支持web页面或者RESTapi两种方式发布应用，在192.168.3.＊内网执行下面的bash命令，就会经过Marathon的RESTapi在mesos slave上启动一个Jenkins master实例。

若是Jenkins master实例被成功部署，经过浏览器访问http://192.168.3.4:8080(请肯定你的浏览器可以访问内网，譬如能够利用设置浏览器代理等方式来搞定)能够在running tasks列表中找到jenkins，点击进入详细信息页面，咱们会看到下图：

访问http://192.168.3.4:5050/#/frameworks并在Active Frameworks中找到Marathon，点击进入详细信息页面，能够在该页面找到Jenkins Master具体运行到Mesos哪一台Slave上，以下图所示：

点击sandbox

配置Jenkins Master实现弹性伸缩

接下来是配置Jenkins注册成为Mesos的Framework，须要经过浏览器访问http://192.168.3.25:31052/来到Jenkins Master的UI页面。下面的截图是我逐步配置的全过程。

1.点击”系统管理”中的”系统设置”

2.设置Mesos Master为192.168.3.4:5050；点击”Test Connection”测试连接，显示连接成功后，点击”应用”保存设置。

Jenkins在Mesos上注册成功，访问http://192.168.3.4:5050/#/frameworks，咱们能够找到jenkins Framework，以下图所示：

如今咱们能够同时启动多个构建做业来看一下Jenkins在Mesos上的弹性伸缩，在http://192.168.3.25:31052/上新建一个名为test的工程，配置其构建过程为运行一个shell命令top，以下图所示：

把该工程复制3份test二、test3和test4，并同时启动这4个工程的构建做业，Jenkins Master会向Mesos申请资源，若是资源分配成功，Jenkins Master就在得到的slave节点上进行做业构建，以下图所示：

由于在前面的系统配置里咱们设置了执行者数量为2（即最多有两个做业同时进行构建），因此在上图中咱们看到两个正在进行构建的做业，而另外两个做业在排队等待。

下图展现了当前的Jenkins做业构建共使用了0.6CPU和1.4G内存：

正在使用的slave节点的详细信息：

配置Jenkins Slave参数(可选)

在使用Jenkins进行项目构建时，咱们常常会面临这样一种情形，不一样的做业会有不一样的资源需求，有些做业须要在配置很高的slave机器上运行，可是有些则不须要。为了提升资源利用率，显然，咱们须要一种手段来向不一样的做业分配不一样的资源。经过设置Jenkins Mesos Cloud插件的slave info，咱们能够很容易的知足上述要求。 具体的配置以下图所示：

至此咱们利用mesos为jenkins弹性的提供资源，同时配置Jenkins Slave的参数来知足不一样做业的资源需求，提升了集群的总体资源利用率。并经过Marathon 会自动检查运行在它之上的app的健康状态， 并从新发布崩溃掉的应用程序功能，实现了集群系统的部分高可用功能。接下来咱们看看如何解决数据持久化的问题。

如何解决Jenkins Master的数据持久化问题

marathon会在Jenkins Master因意外崩溃后从新部署其到某个mesos slave节点上，但marathon没法维护应用程序的数据，即咱们须要一个 Jenkins Master 的数据持久化方法，因为Jenkins Master是将数据存储在XML文件而不是数据库中，这里能够利用jenkins插件SCM Sync configuration plugin来将Jenkins Master的数据同步到相应的repo。

在内部的代码库或者 github 上建立一个 git repo

咱们须要在内部的代码库或者公共代码库建立一个名为 jenkins-on-mesos 的 gitrepo ， 譬如：git@gitlab.dataman.io:wtzhou/jenkins-on-mesos.git 。 这个 repo 是 jenkins 插件 SCM Sync configuration plugin 用来同步jenkins数据的。

另外，对于SCM-Sync-Configuration来讲，很是关键的一步是保证其有权限 pull/push 上面咱们所建立的gitrepo。 以咱们公司的内部环境为例， 在mesos集群搭建时，咱们首先使用ansible为全部的mesos slave节点添加了用户core并生成了相同的ssh keypair，同时在内部的gitlab上注册了用户core并上传其在slave节点上的公钥，而后添加该用户core为repo git@gitlab.dataman.io:wtzhou/jenkins-on-mesos.git的developer或者owner，这样每一个mesos slave节点均可以以用户core来 pull/push 这个gitrepo了。

使用 marathon 部署可持久化的 Jenkins Master

咱们首先须要wget两个文件:

其中start-jenkins.app.sh是须要配置的，

编辑以下3个变量：

1. SCM_SYNC_GIT: 上面所配置的 gitrepo 地址, 格式例子： git@gitlab.dataman.io:wtzhou/jenkins-on-mesos.git

2. APP_USER:  marathon 会以用户 APP_USER 来部署 jenkins ，从而插件SCM-Sync-Configuration会以用户APP_USER来跟gitrepo进行同步。 因此在咱们的这个例子里，咱们让APP_USER=core。

3. MARATHON_PORTAL:  marathon 的 RESTapi 入口，例如：http://marathon.dataman.io:8080/v2/apps

接下来就能够执行命令:

来让 marathon 部署咱们的 Jenkins Master 了。这样， 咱们在 Jenkins Master 上所保存的任何配置，建立的任何job都会被SCM-Sync-Configuration同步到repo里，并在 Jenkins Master 被从新发布后 download 到本地。

关于SCM-Sync-Configuration的更多信息

SCM-Sync-Configuration初始化完成后（在咱们环境里初始化过程会被自动触发），每次配置更新或者添加，编辑构建做业时，咱们会获得一个提示页面来为新的 commit message 添加 comment，以下图所示：

当前，所支持的配置文件以下：

1. 构建做业的配置文件 (/jobs/*/config.xml)

2. 全局的 Jenkins/Hudson 系统配置文件 (/config.xml)

3. 基本的插件的配置文件 (/hudson*.xml, /scm-sync-configuration.xml)

4. 用户手动指定的配置文件

另外，咱们能够在每一页的下面看到 scm sync config 的状态， 下图是同步出错时的截图，你能够去System Log查看具体的出错信息。

至此，咱们又解决了Jenkins Master的数据持久化问题。到这里，咱们就真正搭建完成了基于Jenkins, Apache Mesos和Marathon的弹性高可用的持续集成环境。