基于Jenkins Pipeline的ASP.NET Core持续集成实践

最近在公司实践持续集成,使用到了Jenkins的Pipeline来提升团队基于ASP.NET Core API服务的集成与部署效率,所以这里总结一下。html

1、关于持续集成与Jenkins Pipeline

1.1 持续集成相关概念

  互联网软件的开发和发布,已经造成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称 CI) 。 git

  持续集成指的是,频繁地 (一天屡次) 将代码集成到主干web

  它的好处主要有两个:docker

(1)快速发现错误。每完成一点更新,就集成到主干,能够快速发现错误,定位错误也比较容易。shell

(2)防止分支大幅偏离主干。若是不是常常集成,主干又在不断更新,会致使之后集成的难度变大,甚至难以集成。windows

  持续集成的目的,就是让产品能够快速迭代,同时还能保持高质量服务器

Martin Fowler 说:“ 持续集成并不能消除 Bug,而是让它们很是容易发现和改正。”  app

  与持续集成相关的,还有持续交付和持续部署。框架

  持续交付指的是:频繁地将软件的新版本,交付给质量团队或者用户,以供评审。若是评审经过,代码就进入生产阶段。它强调的是,无论怎么更新,软件是随时随地能够交付的ssh

  持续部署是持续交付的下一步,指的是代码经过评审之后,自动部署到生产环境。它强调的是代码在任什么时候刻都是可部署的,能够进入生产阶段

1.2 Jenkins Pipeline

  Jenkins 是一款流行的开源持续集成(CI)与持续部署(CD)工具,普遍用于项目开发,具备自动化构建、测试和部署等功能。有关Jenkins的安装,能够参考个人这一篇文章进行安装。

  相信不少童鞋都已经在使用Jenkins或者计划使用Jenkins来代替传统的人工发布流程了,所以咱们建立了不少自由风格(Free Style)的构建任务用于多个Job,而咱们常常会听到说流水线任务,那么流水线是什么呢?

  流水线Pipeline是一套运行于Jenkins上的工做流框架,将本来独立运行于单个或者多个节点的任务链接起来,实现单个任务难以完成的复杂流程编排与可视化。下图是一个Jenkins Pipeline的实例效果:

Pipeline :Build => Test => Deploy

  这里涉及到Pipeline中的几个重要概念,须要了解一下:

  • Stage: 阶段,一个Pipeline能够划分为若干个Stage,每一个Stage表明一组操做。注意,Stage是一个逻辑分组的概念,能够跨多个Node。如上图所示,Build,Test和Deploy就是Stage,表明了三个不一样的阶段:编译、测试和部署。
  • Node: 节点,一个Node就是一个Jenkins节点,或者是Master,或者是Slave,是执行Step的具体运行期环境。
  • Step: 步骤,Step是最基本的操做单元,小到建立一个目录,大到构建一个Docker镜像,由各种Jenkins Plugin提供。

2、准备ASP.NET Core Docker环境

2.1 安装Docker环境

  能够参考个人这一篇《.NET Core微服务之ASP.NET Core on Docker》来安装和配置Docker环境,建议在Linux环境下配置。

2.2 安装SFTP服务

  在Linux下,SSH服务默认会安装,而在Windows Server下,须要单独安装,能够借助FreeSSHD这个免费工具来实现。因为个人物理机都是Windows Server,物理机上的VM是Linux(Docker运行环境),因此须要给物理机配置FreeSSHD,用来实现从CI服务器发布Release到物理服务器中的VM。

  至于如何安装配置FreeSSHD,能够参考这一篇《freeSSHD在windows环境下搭建SFTP服务器》。

3、配置Jenkins Pipeline流水线任务

3.1 整体目标

  (1)持续集成:实现编译+单元测试的自动运行

  这里我要实现的目标是:当有人push代码到git server中(这里我使用的git server是Gogs,须要给Gogs设置一个Webhook,以下图所示,须要注意的是设置的密钥文本要和在Pipeline中填写的一致,不然Jenkins没法正确接收Web钩子),git server会触发一个webhook发送一个post的请求给CI server,CI server会触发Pipeline任务的构建,一路pull代码+编译+单元测试。

  (2)持续发布:实现编译+发布到具体的测试环境

  因为在开发阶段,我不须要每次Push都进行发布,所以我这里设置的是手动在Jenkins中触发发布任务来实现自动化发布。

3.2 全局设置

  首先,确定是Jenkins的插件安装了。

  (1)Generic WebHook Trigger => 触发WebHook必备

  (2)Gogs Plugin => 由于我使用的Git Server是Gogs搭建的

  (3)MSBuild Plugin => 进行sln、csproj项目文件的编译

  (4)MSTest & xUnit => 进行基于MSTest或基于xUnit的单元测试

  (5)Nuget Plugin => 拉取Nuget包必备

  (6)Pipeline => 实现Pipeline任务必备,建议将Pipeline相关插件都安装上

  (7)Powershell Plugin => 若是你的CI服务器是基于Windows的,那么安装一下Powershell插件来执行命令吧

  (8)Publish Over SSH => 远程发布Release必备

  (9)WallDisplay => 电视投屏构建任务列表必备

  其次,为了提示邮件,也要Email插件(Email Extension)的支持,并进行如下配置:

  (1)第一处:Jenkins Location

  (2)第二处:Email扩展插件全局变量设置

  这里主要是须要设置Subject和Content,就能够在各个Pipeline中使用了。所以,这里贴出个人Default Content内容:

<!DOCTYPE html>  
<html>  
<head>  
<meta charset="UTF-8">  
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>  
</head>  
  
<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0">  
    <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: Microsoft YaHei, Tahoma, Arial, Helvetica">  
        <tr>  
            <td>各位同事,你们好,如下为 ${PROJECT_NAME } 构建任务信息</td>  
        </tr>  
        <tr>  
            <td><br />  
            <b style="font-weight:bold; color:#66cc00">构建信息</b>  
            <hr size="2" width="100%" align="center" /></td>  
        </tr>  
        <tr>  
            <td>  
                <ul>  
                    <li>任务名称 : ${PROJECT_NAME}</li>  
                    <li>构建编号 : 第${BUILD_NUMBER}次构建</li>  
                    <li>触发缘由: ${CAUSE}</li>  
                    <li>构建状态: <span style="font-weight:bold; color:#FF0000">${BUILD_STATUS}</span></li>  
                    <li>构建日志: <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>  
                    <li>构建  Url : <a href="${BUILD_URL}">${BUILD_URL}</a></li>  
                    <li>工做目录 : <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>  
                    <li>项目  Url : <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>  
                </ul>  
            </td>  
        </tr>  
    </table>  
</body>  
</html>

  为了可以发给更多的人,建议勾选以上两个选项。

  这里是Email通知必填的SMTP服务器配置。

  最后,是SSH服务器的声明,指定能够进行SSH发布的服务器有哪些,IP又是多少:

3.3 新增Pipeline脚本

  (1)持续集成Pipeline

  首先,填写Webhook的密钥文本:

  其次,Build Triggers的时机选择“Build when a change is pushed to Gogs”,即有人push代码到仓库就触发。固然,这里须要提早在Gogs设置Webhook。

  其次,编写Pipeline脚本,各个Stage写清楚职责:

  

  具体的Pipeline脚本在下边:

pipeline{ agent any stages { stage('XDP Core Services Checkout') { steps{ checkout([$class: 'GitSCM', branches: [[name: '*/dev-xds']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '35b9890b-2338-45e2-8a1a-78e9bbe1d3e2', url: 'http://192.168.18.150:3000/EDC.ITC.XDP.Core/EDC.XDP.Core.git']]]) echo 'Core Services Checkout Done' } } stage('XDP Core Services Build') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.Dev.CI.Pipeline\\src\\services\\EDC.XDP.Core\\" dotnet build EDC.XDP.Core-All.sln''' echo 'Core Services Build Done' } } stage('Core Delivery Service Unit Test') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.Dev.CI.Pipeline\\src\\services\\EDC.XDP.Core\\Services\\EDC.XDP.Core.Delivery.UnitTest" dotnet test -v n --no-build EDC.XDP.Core.Delivery.UnitTest.csproj''' echo 'Core Delivery Service Unit Test Done' } } stage('XDS Delivery Service Checkout') { steps{ checkout([$class: 'GitSCM', branches: [[name: '*/dev-service']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '35b9890b-2338-45e2-8a1a-78e9bbe1d3e2', url: 'http://192.168.18.150:3000/EDC.ITC.XDP.XDS/EDC.XDP.XDS.git']]]) echo 'Core Delivery Service Checkout Done' } } stage('XDS Delivery Service Build') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.Dev.CI.Pipeline\\src\\services\\EDC.XDP.XDS" dotnet build EDC.XDP.XDS.sln''' echo 'XDS Service Build Done' } } stage('XDS Delivery Service Unit Test') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.Dev.CI.Pipeline\\src\\services\\EDC.XDP.XDS\\EDC.XDP.XDS.Delivery.UnitTest" dotnet test -v n --no-build EDC.XDP.XDS.Delivery.UnitTest.csproj''' echo 'XDS Service Unit Test Done' } } } post{ failure { emailext ( subject: '${DEFAULT_SUBJECT}', body: '${DEFAULT_CONTENT}', to: "edisonchou@qq.com,xxxxx@qq.com") } } }
View Code

  (2)持续发布Pipeline

  持续发布Pipeline与持续集成Pipeline相似,只是在脚本处有所不一样:

pipeline{ agent any stages { stage('Core Delivery Service Checkout') { steps{ checkout([$class: 'GitSCM', branches: [[name: '*/dev-xds']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '35b9890b-2338-45e2-8a1a-78e9bbe1d3e2', url: 'http://192.168.18.150:3000/EDC.ITC.XDP.Core/EDC.XDP.Core.git']]]) echo 'Core Delivery Service Dev Branch Checkout Done' } } stage('Core Delivery Service Build & Publish') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.API.Dev.CD.Pipeline\\src\\services\\EDC.XDP.Core" dotnet build EDC.XDP.Core-DataServices.sln dotnet publish "%WORKSPACE%\\src\\services\\EDC.XDP.Core\\Services\\EDC.XDP.Core.Delivery.API\\EDC.XDP.Core.Delivery.API.csproj" -o "%WORKSPACE%\\EDC.XDP.Core.Delivery.API/publish" --framework netcoreapp2.1 ''' echo 'Core Delivery Service Build & Publish Done' } } stage('Core Delivery Service Deploy To 190 Server') { steps{ sshPublisher(publishers: [sshPublisherDesc(configName: 'XDP-DEV-Server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker stop xdp_core_deliveryservice; docker rm xdp_core_deliveryservice; docker run --ulimit core=0 --restart=always -v /etc/localtime:/etc/localtime -d -e ASPNETCORE_ENVIRONMENT=dev --privileged=true --name=xdp_core_deliveryservice -p 8010:80 -v /XiLife/publish/EDC.XDP.Core.Delivery.API/:/app -w /app xdp_service_runtime:latest  dotnet EDC.XDP.Core.Delivery.API.dll''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'EDC.XDP.Core.Delivery.API/', remoteDirectorySDF: false, removePrefix: 'EDC.XDP.Core.Delivery.API/publish/', sourceFiles: 'EDC.XDP.Core.Delivery.API/publish/**')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) echo 'Delivery Service Deploy To 190 Done' } } stage('Core Delivery Service Deploy To 175 Server') { steps{ sshPublisher(publishers: [sshPublisherDesc(configName: 'XDP-DEV-MT-Server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker stop xdp_core_deliveryservice; docker rm xdp_core_deliveryservice; docker run --ulimit core=0 --restart=always -v /etc/localtime:/etc/localtime -d -e ASPNETCORE_ENVIRONMENT=devmt --privileged=true --name=xdp_core_deliveryservice -p 8010:80 -v /XiLife/publish/EDC.XDP.Core.Delivery.API/:/app -w /app xdp_service_runtime:latest  dotnet EDC.XDP.Core.Delivery.API.dll''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'EDC.XDP.Core.Delivery.API/', remoteDirectorySDF: false, removePrefix: 'EDC.XDP.Core.Delivery.API/publish/', sourceFiles: 'EDC.XDP.Core.Delivery.API/publish/**')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) echo 'Delivery Service Deploy To 175 Done' } } stage('XDS Delivery Service Checkout') { steps{ checkout([$class: 'GitSCM', branches: [[name: '*/dev-service']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '35b9890b-2338-45e2-8a1a-78e9bbe1d3e2', url: 'http://192.168.18.150:3000/EDC.ITC.XDP.XDS/EDC.XDP.XDS.git']]]) echo 'XDS Delivery Service Checkout Done' } } stage('XDS Delivery Service Build & Publish') { steps{ bat '''cd "D:\\Jenkins\\workspace\\XDS.API.Dev.CD.Pipeline\\src\\services\\EDC.XDP.XDS" dotnet build EDC.XDP.XDS.sln dotnet publish "%WORKSPACE%\\src\\services\\EDC.XDP.XDS\\EDC.XDP.XDS.Delivery.API\\EDC.XDP.XDS.Delivery.API.csproj" -o "%WORKSPACE%\\EDC.XDP.XDS.Delivery.API/publish" --framework netcoreapp2.1 ''' echo 'XDS Delivery Service Build & Publish Done' } } stage('XDS Delivery Service Deploy To 190 Server') { steps{ sshPublisher(publishers: [sshPublisherDesc(configName: 'XDP-DEV-Server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker stop xdp_xds_delivery_service;docker rm xdp_xds_delivery_service; docker run --ulimit core=0 --restart=always -v /etc/localtime:/etc/localtime -d -e ASPNETCORE_ENVIRONMENT=dev --privileged=true --name=xdp_xds_delivery_service -p 9020:80 -v /XiLife/publish/EDC.XDP.XDS.Delivery.API/:/app -w /app xdp_service_runtime:latest  dotnet EDC.XDP.XDS.Delivery.API.dll''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'EDC.XDP.XDS.Delivery.API/', remoteDirectorySDF: false, removePrefix: 'EDC.XDP.XDS.Delivery.API/publish/', sourceFiles: 'EDC.XDP.XDS.Delivery.API/publish/**')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) echo 'XDS Delivery Service Deploy to 190 Done' } } stage('XDS Delivery Service Deploy To 175 Server') { steps{ sshPublisher(publishers: [sshPublisherDesc(configName: 'XDP-DEV-MT-Server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker stop xdp_xds_delivery_service;docker rm xdp_xds_delivery_service; docker run --ulimit core=0 --restart=always -v /etc/localtime:/etc/localtime -d -e ASPNETCORE_ENVIRONMENT=devmt --privileged=true --name=xdp_xds_delivery_service -p 9020:80 -v /XiLife/publish/EDC.XDP.XDS.Delivery.API/:/app -w /app xdp_service_runtime:latest  dotnet EDC.XDP.XDS.Delivery.API.dll''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'EDC.XDP.XDS.Delivery.API/', remoteDirectorySDF: false, removePrefix: 'EDC.XDP.XDS.Delivery.API/publish/', sourceFiles: 'EDC.XDP.XDS.Delivery.API/publish/**')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) echo 'XDS Delivery Service Deploy to 175 Done' } } } }
View Code

  这里因为个人测试环境分为两个,一个是开发人员联调环境190,另外一个是集成测试环境175,统一在一个Pipeline任务中进行发布。

  对于Master分支,咱们还能够将Web系统的发布也集成到同一个Pipeline任务中,实现一个一条龙的发布流水线任务,因为各个Web系统的实现技术不同,这里就再也不贴脚本了。

4、效果演示

  (1)持续集成示例

  (2)持续发布示例

  (3)构建失败告警

  (4)构建大屏显示

  再来一张投屏到工做区域电视屏幕中的效果,你们抬头就能够看到构建结果,是绿了仍是红了?固然,咱们都喜欢“绿”的,呼呼。

5、小结

  借助持续集成和持续发布,咱们开发人员能够节省不少质量保证和发布部署的时间,从而减小不少由于人为QA和Deploy形成的失误影响,从另外一个层面上,它也可使咱们避免996(好吧,虽然关联有点牵强)。后续,我还会探索K8S,到时候但愿可以分享一个ASP.NET Core on K8S的系列文章,敬请期待。

参考资料

大宝鱼,《玩转Jenkins Pipeline

李志强,《Jenkins高级用法 - Pipeline 安装

李志强,《Jenkins高级用法 - Jenkinsfile 介绍及实战经验

三只松鼠,《jenkins + pipeline构建自动化部署

ofnhkb1,《.NET项目从CI到CD-Jenkins_Pipeline的应用

 

做者:周旭龙

出处:http://edisonchou.cnblogs.com

本文版权归做者和博客园共有,欢迎转载,但未经做者赞成必须保留此段声明,且在文章页面明显位置给出原文连接。

相关文章
相关标签/搜索