Jenkins+Ansible+Gitlab自动化部署三剑客

时间  2020-06-05
标签 jenkins+ansible+gitlab jenkins ansible gitlab 自动化 部署 剑客 栏目 自动化构建 繁體版
原文   原文链接

最近一直在学习Ansible的一些playbook的写法, 因此一直没有怎么更新, 想到目前你们对诸如saltstack, docker, Ansible等自动化部署相关的工具很感兴趣, 但又苦于没有可学习的中文实例, 这里我就把我这几个月所接触到目前国外比较流行的部署经验给你们分享一下.php

首先给你们介绍的是Ansible, 恩, 重要的问题说三遍, 不是Saltstack, Ansible做为一个python写的自动化部署工具, 确实较以前我所接触的Chef, saltstack, puppet更有本身的一些优点, 首先就是agentless, 无需在Linux client安装任何服务便可无缝链接Linux default ssh端口进行部署(windows须要安装winrm 开启ssh服务), 这点其实我以为很是重要, 能够想象不少公司自己是对network管理很是严格的, 在部署一个产品的同时你须要考虑不少时间成本, 使用其余部署工具自己很是棘手的问题就是去申请开端口, client量少的话, 咱们能够去等, 多的话自己你去request, waiting, unblock port等等long long process.... 最后会耗费很长时间. 这个对不少产品自己就是很致命的. 不推荐Saltstack的缘由也是由于其须要在每台agent逐一去安装client service并测试, 这自己就会耗费一些时间成本. python

其余呢? 其实我以为就是容易上手, 语法简单, 有现成模板让你去学习, 加之是咱们很是喜好的python语法, why not? git

Jenkins不用我多说, 估计懂行的人都在用它, 开源, 轻量级, 兼容性和扩展性强, 直观的GUI管理这都是它的优点, 配合Ansible我以为用起来会很是easy going. docker

最后提一下Gitlab, 为何要用Gitlab? 他做为一个代码版本控制系统和部署有什么关系呢? 其实这里就涉及一个咱们Ansible playbook管理问题, 试想咱们须要维护一个公司庞大的server集群, 咱们全部须要部署的机器或者产品会对应咱们相对的部署脚本, 咱们使用的Ansible playbook若是只是保存在Ansible Server的具体某个目录, 这自己就不便于咱们进行编写维护更新(想一想每次都跑到远程去编写playbook或者每次在本地编写好后再upload到远程我都会脑补数以万计的草泥马从我眼前呼啸而来). shell

这里Gitlab就给咱们提供一个很是方便以及直观的Playbook management. 咱们须要作的其实就是在Gitlab去创建一个对应产品或者server的playbook仓库, 而后咱们在本地写好后直接commit到这个仓库, 最后在部署的时候, 去让Jenkins pull这个playbook到其workspace, 并做为一个Job去run这个playbook, 这样是否是很规范, 并且便于管理? windows

固然Ansible自己企业版Tower也会提供一个相似管理并维护playbook以及监控ansible自己running process的GUI管理系统, 用起来也很不错, 但做为收费版本, 咱们在这里就不作过多阐述了. 浏览器

这里我推荐Jenkins和Ansible能够安装到同一个环境做为部署server, Gitlab做为版本控制系统可单独部署在另外一台server. session

总结: less

Jenkins首先从Gitlab去抓取咱们写好的具体产品的playbook, 并使用virtualenv下的Ansible相关命令, 保证咱们在一个clean的环境下使用stable version去批量部署咱们的产品到远程client. ssh

 

Let's go.....

 

一. 安装环境

System: CentOS 6.7 x64 (deploy.example.com)

Jenkins: Jenkins ver. 1.650

Ansible: Ansible 2.1.0

Gitlab: GitLab 7.14.3

 

二. Jenkins配置

咱们建立deploy用户做为jenkins_user, workspace为deploy家目录下的jenkins目录.

# su - root

# adduser deploy

# wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo

# rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key

# yum install jenkins -y

# vi /etc/sysconfig/jenkins 

...
JENKINS_HOME="/home/deploy/jenkins"
JENKINS_USER="deploy"
...

# service jenkins start

浏览器访问Jenkins页面

http://deploy.example.com:8080

安装完成, 如下是我已经配置好的一些Jenkins Job.

QQ20160311-0

这里咱们使用一个国内PHP网站模板phpcms做为咱们须要部署的产品进行本次范例演示, 在进行最终的Build前咱们须要作一些准备工做, 稍后咱们会回到这个界面.

 

三. Ansible配置

这里咱们须要配置virtualenv去隔离咱们ansible的发行版本为最新版本2.1.0, 默认pip或者yum安装的1.9版本由于BUG以及对windows不兼容的缘由, 这里不推荐使用.

配置步骤传送门: http://www.showerlee.com/archives/1862

Ansible-playbook范例传送门: http://www.showerlee.com/archives/1649

 

四. Gitlab配置

部署并使用传送门: http://www.showerlee.com/archives/1285

咱们最终会建立一个ansible playbook仓库 git@git.example.cn:showerlee/Ansible-showerlee.git, 并在本地编写好咱们的规则, 最终commit到这个仓库, 以便Jenkins去调用咱们的部署规则.

这里博主单独clone出来一份部署phpcms的playbook仓库, 算是给你们的福利:

https://git.yanwenbo.cn/showerlee/leon-playbook-phpcms1.1

QQ20160311-2

QQ20160311-3

QQ20160311-4

 

五.最终部署

准备工做完毕, 咱们接下来给你们介绍Jenkins Job配置.

1.建立一个new item

QQ20160311-5

2. 建立一个freestyle Job, 命名规则"产品名-环境", 这里咱们为Phpcms-Dev

QQ20160311-6

3. Job配置

1). 定制Build参数.

这里Dynamic Choice Parameter用来经过Groovy脚原本抓取这个git仓库的全部branch, 并做为一个多选项, 方便咱们在最终Build前去选择咱们须要的这个产品Branch分支.

Groovy抓取Git branch代码:

 

def gettags = ("git ls-remote -h :showerlee/phpcms.git").execute()  
gettags.text.readLines().collect { it.split()[1].replaceAll('refs/heads/', '')  }.unique()

 

QQ20160311-11

Choice Parameter也是用来给咱们Job定制Build前的可选参数, 不过这里的参数能够直接写死

deploy_environment为咱们的参数名, 定义咱们的部署环境名, prod, qa为咱们具体的可选项, 定义咱们产品的两个环境.

QQ20160311-82). 源代码管理

咱们能够利用Jenkins内置的Source Code Management工具去抓取远程Git或者SVN仓库的代码到本地, 这里咱们抓取存放在咱们Gitlab上的Playbook到Jenkins的workspace目录, 用来进行后续部署工做, 这个仓库如需认证, 咱们能够在Credentials add这个仓库的用户帐号密码, 其他均保持默认便可(默认Jenkins default不支持Git, 须要到其后台安装Git插件)

QQ20160311-93). Execute shell进行最终的CLI部署.

这个Build模块下的Execute shell方法是Jenkins比较经常使用并不是常核心的功能, 用来执行咱们部署过程当中核心的命令.

开头和结尾的set +x, set -x用来打开和关闭该部分的扩展参数及命令

开启virtualenv和加载ansible环境变量

# source /home/deploy/.virtualenv/bin/activate
# . /home/deploy/.virtualenv/ansible/hacking/env-setup -q

进入该Job的workspace目录下保存该playbook的仓库子目录下, 检查ansible版本, 并执行最终的部署命令.

cd $WORKSPACE/leon-playbook-phpcms1.1
ansible --version
ansible-playbook -i inventory/$deploy_environment ./deploy.yml -e project=phpcms -e branch=$branch_selector -e env=$deploy_environment

注: -i 用来自定义ansible host文件路径, ./deploy.yml为ansible-playbook入口文件, -e 后可跟给当前session添加的环境变量.

这里$deploy_environment $branch_selector 为该Job定义好的可选参数, 详见3-1)

QQ20160311-10

 

配置完毕后, save保存.

4. 执行Job.

QQ20160311-12

选择master分支和prod环境

QQ20160311-13

 

查看该Job最终的console output, 也就是显示咱们实际在CLI下的输出结果.

QQ20160311-14

 

Console Output

Started by user Leon Li
Building in workspace /home/deploy/jenkins/workspace/Phpcms-Dev
 > git rev-parse --is-inside-work-tree # timeout=10
Fetching changes from the remote Git repository
 > git config remote.origin.url :showerlee/Ansible-showerlee.git # timeout=10
Fetching upstream changes from :showerlee/Ansible-showerlee.git
 > git --version # timeout=10
 > git fetch --tags --progress :showerlee/Ansible-showerlee.git +refs/heads/*:refs/remotes/origin/*
 > git rev-parse refs/remotes/origin/master^{commit} # timeout=10
 > git rev-parse refs/remotes/origin/origin/master^{commit} # timeout=10
Checking out Revision 6bf787dcad68219d8eee09cecb83cbca36edbef1 (refs/remotes/origin/master)
 > git config core.sparsecheckout # timeout=10
 > git checkout -f 6bf787dcad68219d8eee09cecb83cbca36edbef1
 > git rev-list 6bf787dcad68219d8eee09cecb83cbca36edbef1 # timeout=10
[Phpcms-Dev] $ /bin/sh -xe /tmp/hudson7452069223867148990.sh
+ set +x
ansible 2.1.0 (devel 6ddea3e915) last updated 2016/02/16 16:13:32 (GMT +800)
  lib/ansible/modules/core: (detached HEAD 8d126bd877) last updated 2016/02/16 16:19:09 (GMT +800)
  lib/ansible/modules/extras: (detached HEAD f6c5ed987f) last updated 2016/02/16 16:19:40 (GMT +800)
  config file = /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/ansible.cfg
  configured module search path = /home/deploy/active-ansible-modules/

PLAY ***************************************************************************

TASK [setup] *******************************************************************
ok: [127.0.0.1]

TASK [deploy : Backup current source code] *************************************
changed: [127.0.0.1]

cmd: mv /data/deploy_dir/phpcms /data/deploy_dir/phpcms_master_1457681152

start: 2016-03-11 15:25:54.774716

end: 2016-03-11 15:25:54.927415

delta: 0:00:00.152699

TASK [deploy : Get new source code] ********************************************
changed: [127.0.0.1]

TASK [deploy : Check if caches/configs/database.php exists] ********************
ok: [127.0.0.1]

TASK [deploy : Check if test_dir exists] ***************************************
ok: [127.0.0.1]

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/test_dir exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/test_dir exists

TASK [deploy : Copy remote necessary original config to new release when Product env] ***
changed: [127.0.0.1] => (item={u'name': u'db_config', u'dir': u'caches/configs/database.php'})
changed: [127.0.0.1] => (item={u'name': u'version_config', u'dir': u'caches/configs/version.php'})

msg: All items completed

results: [
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
    "checksum": "91869c2faa244f8c5de8a586636c6b4f3c0a2817", 
    "md5sum": "fd88a78a4629bca012a79d22fdcecadd", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "db_config", 
      "dir": "caches/configs/database.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 302
  }, 
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
    "checksum": "d0eaedb46a36303eb3f3e2a77cc2a623062eff3c", 
    "md5sum": "7917d8199b7c6d5bc87ff3035a72670e", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "version_config", 
      "dir": "caches/configs/version.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 127
  }
]

TASK [deploy : Copy dir test_dir to new release when Product env] **************
changed: [127.0.0.1]

cmd: cp -a /data/deploy_dir/phpcms_master_1457681152/test_dir /data/deploy_dir/phpcms/

start: 2016-03-11 15:26:16.966237

end: 2016-03-11 15:26:17.069705

delta: 0:00:00.103468

TASK [deploy : Get php version] ************************************************
changed: [127.0.0.1 -> localhost]

cmd: python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py start: 2016-03-11 15:26:17.468311

end: 2016-03-11 15:26:51.560313

delta: 0:00:34.092002

stdout: PHP/5.4.13

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": {
        "changed": true, 
        "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py ", 
        "delta": "0:00:34.092002", 
        "end": "2016-03-11 15:26:51.560313", 
        "rc": 0, 
        "start": "2016-03-11 15:26:17.468311", 
        "stderr": "", 
        "stdout": "PHP/5.4.13", 
        "stdout_lines": [
            "PHP/5.4.13"
        ], 
        "warnings": []
    }
}

msg: {
  "changed": true, 
  "end": "2016-03-11 15:26:51.560313", 
  "stdout": "PHP/5.4.13", 
  "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py ", 
  "start": "2016-03-11 15:26:17.468311", 
  "delta": "0:00:34.092002", 
  "stderr": "", 
  "rc": 0, 
  "stdout_lines": [
    "PHP/5.4.13"
  ], 
  "warnings": []
}

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "PHP/5.4.13"
}

msg: PHP/5.4.13

PLAY RECAP *********************************************************************
127.0.0.1                  : ok=12   changed=5    unreachable=0    failed=0   

Finished: SUCCESS

 

这样咱们就利用Jenkins+Ansible+Gitlab, 成功部署phpcms到远程Client.

 

 

本文转载自一路向北的博客http://www.showerlee.com/archives/1880

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程