go程序基于阿里云CodePipeline的一次devops实践

背景

最近朋友有个项目代码托管用的码云，测试服务器（阿里云ECS）只有一台，三四我的开发，因而想基于阿里云的CodePipeline快速打造一套自动化cicd的流程,使用docker来进行多套环境部署。

CodePipeline 介绍

阿里云CodePipeline是兼容Jenkins标准的、提供快速可靠的持续集成与持续交付服务。基于容器技术和阿里云基础服务架构，提供稳定和安全的代码/Docker编译构建，测试，扫描和部署的工具服务，并提供Pipeline As Code的编码级配置模式，知足应用程序和基础设施快速可靠的交付和更新。

上面是阿里云的官方介绍，兼容jekins的标准，一次无心的点击出现了下图的图标，感受就是jenkins的基础上作了一次二次开发。

新建构建项目

构建项目基本配置

基本信息配置

因为项目使用到了一些国外的lib，固然选择国内的节点也是能够的，不过在写Dockerfile的时候记得加上代理。

源码管理配置

选择合适的代码仓库，也能够是私仓，不过须要配上本身的帐号和ssh key相关信息。

构建配置

我这里使用的是阿里云的私有的镜像仓库基于Dockerfile来构建镜像，注意配置凭证。 ![在这里插入图片描述]

项目目录

gin_demo
├── app
│   └── app.go
├── conf
│   └── app.ini
├── Dockerfile
├── docs
│   └── sql
│       └── mjs.sql
├── go.mod
├── go.sum
├── main.go
├── middleware
│   ├── jwt
│   │   └── jwt.go
│   └── logging
│       └── logger.go
├── mjs.exe
├── models
│   ├── mongo
│   │   └── db.go
│   └── mysql
│       ├── db.go
│       ├── teacher.go
│       └── user.go
├── pkg
│   ├── app
│   │   ├── form.go
│   │   ├── request.go
│   │   └── response.go
│   ├── def
│   │   └── def.go
│   ├── e
│   │   ├── code.go
│   │   ├── def.go
│   │   └── msg.go
│   ├── file
│   │   └── file.go
│   ├── gredis
│   │   └── redis.go
│   ├── logging
│   │   ├── file.go
│   │   └── log.go
│   ├── setting
│   │   └── setting.go
│   ├── upload
│   │   └── image.go
│   └── util
│       ├── jwt.go
│       ├── md5.go
│       ├── pagination.go
│       └── util.go
├── README.en.md
├── README.md
├── routers
│   ├── api
│   │   └── v1
│   └── router.go
├── runtime
│   └── logs
│       ├── log20190528.log
│       └── log20190529.log
└── service
    ├── teacher_service
    │   └── teacher.go
    └── user_service
        └── user.go

复制代码

Dockerfile

FROM golang:1.12.4 as build

#ENV GOPROXY https://goproxy.io 

WORKDIR /go/cache 
ADD go.mod . ADD go.sum . RUN go mod download 
WORKDIR /go/release 
ADD . . 
RUN GOOS=linux CGO_ENABLED=0 go build -ldflags="-s -w" -installsuffix cgo -o gin_demo main.go 
FROM scratch as prod

COPY --from=build /usr/share/zoneinfo/Asia/Shanghai /etc/localtime COPY --from=build /go/release/gin_demo / COPY --from=build /go/release/conf ./conf CMD ["/gin_demo"] 复制代码

注：若是选择国内节点构建必须配上代理 ENV GOPROXY goproxy.io

配置触发器

这里选择一个构建的代码分支，而后点击生成，将生成后的url能够在对应的代码仓库配上webhook之类的配置。选择合适的触发方式。

配置部署

阿里云构建步骤里面部署到ECS上（不方便）和部署到k8s（收费）都不能知足项目场景需求，不过上面支持shell脚本，因而本身想在朋友的那台阿里云ECS上跑个ci的web server，这里构建完以后就去通知下这个接口，而后去执行一些docker指令的脚本，拉取构建完以后的镜像而且从新启动，启动完以后邮件通知。因而写了这样一个很简单的web server。 main

package main

import (
	"fmt"
	"log"
	"net/http"
	"os/exec"
	"path"
)

/* * @Author:hanyajun * @Date:2019/5/28 16:44 * @Name:ci_tools * @Function: ci 工具 */

//
func HandleCi(w http.ResponseWriter, req *http.Request) {
	user := path.Base(req.URL.Path)
	//针对不一样开发人员的push拉取不一样的镜像和映射不一样的端口
	var port string
	switch user {
	case "zhangsan":
		port = "8088"
	case "lisi":
		port = "8087"
	case "wangmazi":
		port = "8086"
	case "dev":
		port = "8085"
	case "master":
		port = "8084"

	}
	println(user)
	result := Run(user,port)
	client:=NewMailClient("smtp.qq.com",465,"******@qq.com","*********")//注意使用465 ssl发送，25端口阿里云ecs禁止了。
	s:=&SendObject{
		ToMails:[]string{"******@qq.com","******@qq.com","******@qq.com"},
		CcMails:[]string{"******@qq.com"},
		Object:"cicd流程结果通知",
		ContentType:"text/html",
		Content:user+" has push something to the branch: "+user+"\n"+"result: "+string(result),
	}
	err:=client.SendMail(s)
	if err!=nil{
		println("send mail fail",err)
	}
	_, _ = w.Write(result)
}
func main() {
	http.HandleFunc("/ci/", HandleCi)
	err := http.ListenAndServe(":8080", nil)
	if err != nil {
		log.Fatal("ListenAndServe: ", err)
	}
}

func Run(user string,port string) []byte {

	shellPath := "/root/ci/ci.sh"
	command := exec.Command(shellPath, user,port) 
	err := command.Start()                   
	if nil != err {
		fmt.Println(err)
		return []byte(err.Error())
	}
	fmt.Println("Process PID:", command.Process.Pid)
	err = command.Wait() //等待执行完成
	if nil != err {
		fmt.Println(err)
		return []byte(err.Error())
	}
	fmt.Println("ProcessState PID:", command.ProcessState.Pid())
	return []byte("success")
}

复制代码

mail.go

package main

import (
	"fmt"
	"gopkg.in/gomail.v2"
)

/* * @Author:15815 * @Date:2019/5/8 17:47 * @Name:mail * @Function:邮件发送 */

type Client struct {
	Host     string
	Port     int
	Mail     string
	Password string
}

type SendObject struct {
	ToMails     []string
	CcMails     []string
	Object      string
	ContentType string
	Content     string
}

func NewMailClient(host string, port int, sendMail, password string) *Client {
	return &Client{
		Host:     host,
		Port:     port,
		Mail:     sendMail,
		Password: password,
	}
}
func (m *Client) SendMail(s *SendObject) error {
	mgs := gomail.NewMessage()
	mgs.SetHeader("From", m.Mail)
	mgs.SetHeader("To", s.ToMails...)
	mgs.SetHeader("Cc", s.CcMails...)
	mgs.SetHeader("Subject", s.Object)
	mgs.SetBody(s.ContentType, s.Content)
	d := gomail.NewDialer(m.Host, m.Port, m.Mail, m.Password)
	if err := d.DialAndSend(mgs); err != nil {
		fmt.Printf("send mail err:%v", err)
		return err
	}
	return nil
}

复制代码

ci.sh

#!/bin/bash
funCiTools()
{
    docker pull registry.cn-shanghai.aliyuncs.com/***/***:$1
    docker rm -f $1
    docker run -d -p $2:8000 --name $1 registry.cn-shanghai.aliyuncs.com/***/***:$1
}
funCiTools $1 $2
复制代码

第一个参数是对应开发人员启动容器的名字以及构建镜像的tag和上面构建的配置一致，第二个参数是映射的端口。 构建ci_web_server
本身的电脑是windows的，朋友的阿里云ecs上又没有go环境，想构建基于linux的二进制程序，因而直接利用docker image 来构建了镜像，一个指令解决问题。 build.sh

docker run --rm -i -v `pwd`:/go/src/ci -w /go/src/ci  golang:1.11.5   go build -o ci  ci
复制代码

使用nohup直接将ci server放置后台运行。

nohup ./ci  >output 2>&1 &
复制代码

效果测试

直接修改点东西提交代码后就等邮件通知了，是否是感受很爽。

提交完代码后就开始触发构建了。

最后构建完完成后触发ci server 进行deploy，完成邮件通知。

登陆到阿里云Ecs上咱们发现咱们的容器已经启动成功了。