go语言实战向导
版权声明：本文由魏佳原创文章，转载请注明出处:
文章原文连接：https://www.qcloud.com/community/article/173java
来源：腾云阁 https://www.qcloud.com/communitymysql
使用go语言作后台服务已经有3年了，经过项目去检验一个又一个的想法，而后不断总结，优化，最终造成了本身的一整套体系，小到一个打印对象的方法，大到一个web后台项目最佳实践指导，这一点一滴都是在不断的实践中进化开来。如下内容将是一次总体的汇报，各位看官若有兴致，请移步GitHub 关注最新的代码变动。c++
wsp (go http webserver)
实现初衷
- 简单可依赖，充分利用go已有的东西，不另外增长复杂、难以理解的东西，这样作的好处包括：更容易跟随go的升级而升级，下降使用者学习成本
- yii提供的controller/action的路由方式比较经常使用，在wsp里实现一套
- java annotation的功能挺方便，在wsp里，经过注释来实现过滤器方法的调用定义
- 不能由于wsp的引入而下降原生go http webserver的性能
使用场景
- 以http webserver方式对外提供服务
- 后台接口服务
使用案例
大型互联网社交业务git
实现方式
路由自动生成，按要求提供controller/action的实现代码，wsp执行后会分析项目代码，自动生成路由表并记录在文件demo/WSP.go里，controller/action定义代码必须符合函数定义：func(http.ResponseWriter, *http.Request)，而且是带receiver的methoddemo_set.gogithub
package controller
import (
"net/http"
"github.com/simplejia/wsp/demo/service"
)
// @prefilter("Login", {"Method":{"type":"get"}})
// @postfilter("Boss")
func (demo *Demo) Set(w http.ResponseWriter, r *http.Request) {
key := r.FormValue("key")
value := r.FormValue("value")
demoService := service.NewDemo()
demoService.Set(key, value)
json.NewEncoder(w).Encode(map[string]interface{}{
"code": 0,
})
}
WSP.gogolang
// generated by wsp, DO NOT EDIT.
package main
import "net/http"
import "time"
import "github.com/simplejia/wsp/demo/controller"
import "github.com/simplejia/wsp/demo/filter"
func init() {
http.HandleFunc("/Demo/Get", func(w http.ResponseWriter, r *http.Request) {
t := time.Now()
_ = t
var e interface{}
c := new(controller.Demo)
defer func() {
e = recover()
if ok := filter.Boss(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {
return
}
}()
c.Get(w, r)
})
http.HandleFunc("/Demo/Set", func(w http.ResponseWriter, r *http.Request) {
t := time.Now()
_ = t
var e interface{}
c := new(controller.Demo)
defer func() {
e = recover()
if ok := filter.Boss(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {
return
}
}()
if ok := filter.Login(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {
return
}
if ok := filter.Method(w, r, map[string]interface{}{"type": "get", "__T__": t, "__C__": c, "__E__": e}); !ok {
return
}
c.Set(w, r)
})
}
- wsp分析项目代码，寻找符合要求的注释（见demo/controller/demo_set.go），自动生成过滤器调用代码在文件demo/WSP.go里，filter注解分为前置过滤器(prefilter）和后置过滤器（postfilter），格式如：@prefilter({json body})，{json body}表明传入参数，符合json array定义格式（去掉先后的中括号），能够包含string值或者object值，filter函数定义知足：
func (http.ResponseWriter,*http.Request,map[string]interface{}) bool，过滤器函数以下： method.go
package filter
import (
"net/http"
"strings"
)
func Method(w http.ResponseWriter, r *http.Request, p map[string]interface{}) bool {
method, ok := p["type"].(string)
if ok && strings.ToLower(r.Method) != strings.ToLower(method) {
http.Error(w, "405 Method Not Allowed", http.StatusMethodNotAllowed)
return false
}
return true
}
filter输入参数map[string]interface{}，会自动设置"T"，time.Time类型，值为执行起始时间，可用于耗时统计，"C"，{Controller}类型，值为{Controller}实例，可经过接口方式存取相关数据（这种方式存取数据较context方式更简单实用），"E"，值为recover()返回值，用于检测错误并处理（后置过滤器必须recover()）web
- 项目main.go代码示例 main.go
package main
import (
"log"
"github.com/simplejia/clog"
"github.com/simplejia/lc"
"net/http"
_ "github.com/simplejia/wsp/demo/clog"
_ "github.com/simplejia/wsp/demo/conf"
_ "github.com/simplejia/wsp/demo/mysql"
_ "github.com/simplejia/wsp/demo/redis"
)
func init() {
lc.Init(1e5)
http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
http.NotFound(w, r)
})
}
func main() {
clog.Info("main()")
log.Panic(http.ListenAndServe(":8080", nil))
}
miscellaneous
- 经过wrk压测工具在一样环境下（8核，8g），wsp空跑qps：9万，beego1.7.1空跑qps：5.5万
- 更方便加入middleware（func(http.Handler) http.Handler），其实更推荐经过定义过滤器的方式支持相似功能
- 更方便编写以下的测试用例：
test （测试用例运行时须要用到项目配置文件，因此请在test目录生成../clog,../conf,../mysql,../redis的软连接）
demo
提供一个简单易扩展的项目stubredis
实现初衷
- 简单可依赖，充分利用go已有的东西，不另外增长复杂、难以理解的东西，这样作的好处包括：更容易跟随go的升级而升级，下降使用者学习成本
- 提供经常使用组件的简单包装，以下：
- config，提供项目主配置文件自动解析，见conf
- redis，使用(github.com/garyburd/redigo)，提供配置文件自动解析，见redis
- mysql，使用(database/sql)，提供配置文件自动解析，见mysql，同时为了方便对象映射，提供了最经常使用的orm组件供选择使用，见orm
项目编写指导意见
- 目录结构：
├── WSP.go
├── clog
│ └── clog.go
├── conf
│ ├── conf.go
│ └── conf.json
├── controller
│ ├── base.go
│ ├── demo.go
│ ├── demo_get.go
│ └── demo_set.go
├── demo
├── filter
│ ├── boss.go
│ ├── login.go
│ └── method.go
├── main.go
├── model
│ ├── demo.go
│ ├── demo_get.go
│ └── demo_set.go
├── mysql
│ ├── demo_db.json
│ └── mysql.go
├── redis
│ ├── demo.json
│ └── redis.go
├── service
│ ├── demo.go
│ ├── demo_get.go
│ └── demo_set.go
└── test
├── clog -> ../clog
├── conf -> ../conf
├── demo_get_test.go
├── demo_set_test.go
├── init_test.go
├── mysql -> ../mysql
└── redis -> ../redis
- controller目录：负责request参数解析，service调用
- service目录：负责逻辑处理，model调用
- model目录：负责数据处理
接口实现上，建议一个接口对应一个文件，如controller/demo_get.go, service/demo_get.go, model/demo_get.gosql
lc (local cache)
实现初衷
- 纯用redis作缓存，相比lc，redis有网络调用开销，反复调用屡次，延时急剧增大，当网络偶尔出现故障时，咱们的数据接口也就拿不到数据，但lc里的数据就算是超过了设置的过时时间，咱们同样能拿到过时的数据作备用
- 使用mysql，当缓存失效，有数据穿透的风险，lc自带并发控制，有且只容许同一时间同一个key的惟一一个client穿透到数据库，其它直接返回lc缓存数据
特性
- 本地缓存
- 支持Get，Set，Mget，Delete操做
- 当缓存失效时，返回失效标志同时，还返回旧的数据，如：v, ok := lc.Get(key)，当key已通过了失效时间了，而且key尚未被lru淘汰掉，v是以前存的值，ok返回false
- 实现代码没有用到锁
- 使用到lru，淘汰长期不用的key
- 结合lm使用更简单快捷
demo
lc_test.goshell
package lc
import (
"testing"
"time"
)
func init() {
Init(65536) // 使用lc以前必需要初始化
}
func TestGetValid(t *testing.T) {
key := "k"
value := "v"
Set(key, value, time.Second)
time.Sleep(time.Millisecond * 10) // 给异步处理留点时间
v, ok := Get(key)
if !ok || v != value {
t.Fatal("")
}
}
lm (lc+redis+[mysql|http] glue)
实现初衷
写redis+mysql代码时（还可能加上lc），示意代码以下：
func orig(key string) (value string) {
value = redis.Get(key)
if value != "" {
return
}
value = mysql.Get(key)
redis.Set(key, value)
return
}
// 若是再加上lc的话
func orig(key string) (value string) {
value = lc.Get(key)
if value != "" {
return
}
value = redis.Get(key)
if value != "" {
lc.Set(key, value)
return
}
value = mysql.Get(key)
redis.Set(key, value)
lc.Set(key, value)
return
}
有了lm，再写上面的代码时，一切变的那么简单 lm_test.go
func tGlue(key, value string) (err error) {
err = Glue(
key,
&value,
func(p, r interface{}) error {
_r := r.(*string)
*_r = "test value"
return nil
},
func(p interface{}) string {
return fmt.Sprintf("tGlue:%v", p)
},
&LcStru{
Expire: time.Millisecond * 500,
Safety: false,
},
&McStru{
Expire: time.Minute,
Pool: pool,
},
)
if err != nil {
return
}
return
}
功能
自动添加缓存代码，支持lc, redis，减轻你的心智负担，让你的代码更加简单可靠，少了大段的冗余代码，复杂的事全交给lm自动帮你作了
支持Glue[Lc|Mc]及相应批量操做Glues[Lc|Mc]，详见lm_test.go示例代码
注意
lm.LcStru.Safety，当置为true时，对lc在并发状态下返回的nil值不接受，由于lc.Get在并发状态下，同一个key返回的value有多是nil，而且ok状态为true，Safety置为true后，对以上状况不接受，会继续调用下一层逻辑
orm (配合sql.Rows使用的超简单数据到对象映射功能函数)
实现初衷
- database/sql包，Db.Query返回的sql.Rows，经过Rows.Scan方式示例代码以下：
rows, err := db.Query("SELECT ...")
defer rows.Close()
for rows.Next() {
var id int
var name string
err = rows.Scan(&id, &name)
}
err = rows.Err()
...
但实际项目场景里，咱们更想这样：
rows, err := db.Query("SELECT ...")
defer rows.Close()
var d []*stru
err = Rows2Strus(rows, &d)
这就是一种简单的对象映射，经过转为对象的方式，咱们的代码更方便处理了
功能
一共提供四种场景的使用方法：
-
Rows2Strus, sql.Rows转为struct slice
-
sql.Rows转为struct，等同db.QueryRow
-
Rows2Cnts, sql.Rows转为int slice
-
Rows2Cnt, sql.Rows转为int，用于select count(1)操做
支持tag: orm，以下：
type Demo struct {
Id int
DemoName string `orm:"demo_name"` // 映射成demo_name字段
}
支持匿名成员，以下：
type C struct {
Id int
}
type P struct {
C // 映射成id字段
Name string
}
支持snakecase配置，经过设置orm.IsSnakeCase = true，以下：
type Demo struct {
Id int
DemoName string // 映射成demo_name字段
}
demo
cmonitor
功能
用于进程监控，管理
实现
- 被监控进程启动后，按每300ms执行一次状态检测（经过发signal0信号检测），每一个被监控进程在一个独立的协程里被监测。
- cmonitor启动后会监听一个http端口用于接收管理命令（start|stop|status|...）
使用方法
配置文件：conf.json (json格式，支持注释) conf.json
{
"env": "dev", // 配置运行环境
"envs": {
"dev": {
"port": 29118, // 配置监听端口
"rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",
"environ": "ulimit -n 65536", // 配置环境变量
"svrs": {
// demo
"demo": "wsp/demo/demo" // key: 名字 value: 将与rootpath拼接在一块儿运行
},
"log": {
"mode": 3, // 0: none, 1: localfile, 2: collector (数字表明bit位)
"level": 15 // 0: none, 1: debug, 2: warn 4: error 8: info (数字表明bit位)
}
},
"test": {
"port": 29118, // 配置监听端口
"rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",
"environ": "ulimit -n 65536", // 配置环境变量
"svrs": {
// demo
"demo": "wsp/demo/demo"
},
"log": {
"mode": 3, // 0: none, 1: localfile, 2: collector (数字表明bit位)
"level": 15 // 0: none, 1: debug, 2: warn 4: error 8: info (数字表明bit位)
}
},
"prod": {
"port": 29118, // 配置监听端口
"rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",
"environ": "ulimit -n 65536", // 配置环境变量
"svrs": {
// demo
"demo": "wsp/demo/demo"
},
"log": {
"mode": 2, // 0: none, 1: localfile, 2: collector (数字表明bit位)
"level": 14 // 0: none, 1: debug, 2: warn 4: error 8: info (数字表明bit位)
}
}
}
}
- 运行方法：cmonitor.sh [start|stop|restart|status|check]
- 进程管理：cmonitor -[h|status|start|stop|restart] [all|["svrname"]]
注意
- cmonitor的运行日志经过clog上报，也可记录在本地cmonitor.log日志文件里，注意：此cmonitor.log日志文件不会被切分，因此尽可能保持较少的日志输出，建议经过clog方式上报日志
- cmonitor启动监控进程后，被监控进程控制台日志cmonitor.log会输出到相应进程目录，最多保存30天，历史日志以cmonitor.{day}.log方式备份
- 当cmonitor启动时，会根据conf.json配置启动全部被监控进程，当被监控进程已经启动过，而且符合配置要求时，cmonitor会自动将其加入监控列表
- cmonitor会按期检查进程运行状态，若是进程异常退出，cmonitor会反复重试拉起，而且记录日志
- 当被监控进程为多进程运行模式，cmonitor只监控管理父进程(子进程应实现检测父进程运行状态，并随父进程退出而退出）
- 被监控进程以nohup方式启动，因此你的程序就不要本身设定daemon运行了
- 每分钟经过ps方式检测一次进程状态，若是出现任何异常，好比有多份进程启动等，记日志
- 因为cmonitor会同时启动内部httpserver（绑内网ip），因此也支持远程管理，好比在浏览器里输入：http://xxx.xxx.xxx.xxx:29118/?command=status&service=all
demo
$ cmonitor -status all *****STATUS OK SERVICE LIST***** demo PID:13539 *****STATUS FAIL SERVICE LIST***** $ cmonitor -restart demo SUCCESS
clog (集中式日志收集服务)
实现初衷
- 实际项目中，服务会部署到多台服务器上去，机器本地日志不方便查看，经过集中收集日志到一台或两台机器上，日志以文件形式存在，按服务名，ip，日期，日志类型分别存储，这样查看日志时就方便多了
- 咱们作服务时，常常须要添加一些跟业务逻辑无关的功能，好比按错误日志报警，上报数据用于统计等等，这些功能和业务逻辑混在一块儿，实在没有必要，有了clog，咱们只须要发送有效的数据，而后就可把数据处理的工做留给clog去作
功能
- 经过发送日志至本机agent，而后agent转发至远程master主机，api目前提供golang，c支持
- 根据配置(master/conf/conf.json)运行相关日志分析程序，目前已实现：日志输出，报警
- 输出日志文件按master/logs/{模块名}/log{dbg|err|info|war}/{day}/log{ip}{+}{sub}规则命名，最多保存30天日志
使用方法
-
agent机器
布署本机agent服务：agent/agent，配置文件：agent/conf/conf.json
-
master机器
布署master服务：master/master，配置文件：master/conf/conf.json
-
agent和master服务建议用cmonitor启动管理
注意
- api.go文件里定义了agent服务端口（agent启动后会监听127.0.0.1:xxx），见clog.Port变量
- master/conf/conf.json文件里，tpl定义模板，而后经过$xxx方式引用，目前支持的handler有：filehandler和alarmhandler，filehandler用来记录本地日志，alarmhandler用来发报警
- 对于alarmhandler，相关参数配置见params，目前的报警只是打印日志，实际实用，应替换成本身的报警处理逻辑，从新赋值procs.AlarmFunc就能够了，能够在master/procs目录下新建一个go文件，以下示例：
package procs
import (
"encoding/json"
"os"
)
func init() {
// 请替换成你本身的报警处理函数
AlarmFunc = func(sender string, receivers []string, text string) {
params := map[string]interface{}{
"Sender": sender,
"Receivers": receivers,
"Text": text,
}
json.NewEncoder(os.Stdout).Encode(params)
}
}
- alarmhandler有防骚扰控制逻辑，相同内容，一分钟内再也不报，两次报警很多于30秒，以上限制和日志文件一一对应
- 若是想添加新的handler，只需在master/procs目录下新建一个go文件，以下示例：
package procs
func XxxHandler(cate, subcate string, content []byte, params map[string]interface{}) {
}
func init() {
RegisterHandler("xxxhandler", XxxHandler)
}
demo
api_test.go
demo (demo项目里有clog的使用例子)
simplesvr (simple udp server)
功能：
- 超简单c/c++服务，多进程，udp通讯，没有高深复杂的事件驱动，没有多线程带来的数据共享问题（加锁对性能的影响），代码结构简单，直达业务
- 适用场景：业务逻辑重，追求高吞吐量，容忍udp带来的不可靠。（已有c lib库，不方便采用golang包装时）
- c开发新手也能够快速上手
特性
- 代码结构简单，仅有一个.cpp文件：main/main.cpp，其它均是.h文件。
- 调用协议简单，'\x00'分隔字段
- 多进程，同时启动多个业务子进程，任何一个进程（包括父进程）退出，全部其它进程均退出。
- 支持json格式配置文件
- 可选经过clog方式记录日志并报警
- 提供不少有用的小组件，包括： > 简单高效的http get及post操做组件 > 相似go lc的本地缓存组件（支持lru, 支持过时后还能返回旧数据，这个在获取新数据失败时尤为有用）
- 提供些小的库函数，如：定时器，获取本机内网ip等
注意
- 加入新依赖库时，只须要在main/main.cpp里加入库头文件，修改Makefile文件
- api目录提供api.go示例代码用于和simplesvr服务通讯
gop (go REPL)
实现初衷
有时想快速验证go某个函数的使用，临时写个程序过低效，有了gop，立马开一个shell环境，边写边运行，自动为你保存上下文，还可随时导入导出snippet，另外还有代码自动补全等等特性
特性
- history record（gop启动后会在home目录下生成.gop文件夹， 输入历史会记录在此）
- tab complete，能够补全package，补全库函数，须要系统安装有gocode
- r|w两种模式切换，r是默认模式，对用户输入实时解析运行，执行w命令切换到w模式，w模式下，只有当执行run命令时，代码才会真正执行
- 代码实时查看和编辑功能[!命令功能]
- snippet，能够导入和导出模板[<,>命令功能]
注意：
- 输入代码时，支持续行
- 对于以下代码，只会在执行结束后一并输出 > print(1);time.Sleep(time.Second);print(2)
- 能够经过echo 123这种方式输出, echo是println的简写，你甚至能够从新定义println变量来使用本身的打印方法，好比像我这样定义(utils.IprintD的特色是能够打印出指针指向的实际内容，就算是嵌套的指针也能够，fmt.Printf作不到)：
import "github.com/simplejia/utils" var println = utils.IprintD
- 导入项目package时，最好提早经过go install方式安装包文件到pkg目录，这样能够加快执行速度
- 能够提早import包，后续使用时再自动引入
- gop启动后会自动导入$PWD/gop.tmpl或者$HOME/.gop/gop.tmpl模板代码，能够把经常使用的代码保存到gop.tmpl里
demo
$ gop
Welcome to the Go Partner! [[version: 1.7, created by simplejia]
Enter '?' for a list of commands.
[r]$ ?
Commands:
?|help help menu
-[dpc][#],[#]-[#],... pop last/specific (declaration|package|code)
![!] inspect source [with linenum]
<tmpl source tmpl
>tmpl write tmpl
[#](...) add def or code
run run source
compile compile source
w write source mode on
r write source mode off
reset reset
list tmpl list
[r]$ for i:=1; i<3; i++ {
..... print(i)
..... time.Sleep(time.Millisecond)
.....}
1
2
[r]$ import _ "github.com/simplejia/wsp/demo/mysql"
[r]$ import _ "github.com/simplejia/wsp/demo/redis"
[r]$ import _ "github.com/simplejia/wsp/demo/conf"
[r]$ import "github.com/simplejia/lc"
[r]$ import "github.com/simplejia/wsp/demo/service"
[r]$ lc.Init(1024)
[r]$ demoService := service.NewDemo()
[r]$ demoService.Set("123", "456")
[r]$ time.Sleep(time.Millisecond)
[r]$ echo demoService.Get("123")
456
[r]$ >gop
[r]$ <gop
[r]$ !
package main
p0: import _ "github.com/simplejia/wsp/demo/mysql"
p1: import _ "github.com/simplejia/wsp/demo/redis"
p2: import _ "github.com/simplejia/wsp/demo/conf"
p3: import "github.com/simplejia/lc"
p4: import "github.com/simplejia/wsp/demo/service"
p5: import "fmt" // imported and not used
p6: import "strconv" // imported and not used
p7: import "strings" // imported and not used
p8: import "time" // imported and not used
p9: import "encoding/json" // imported and not used
p10: import "bytes" // imported and not used
func main() {
c0: lc.Init(1024)
c1: demoService := service.NewDemo()
c2: _ = demoService
c3: demoService.Set("123", "456")
c4: time.Sleep(time.Millisecond)
}
[r]$
相关文章
- 1. ****-Go语言实战合集-Go语言
- 2. Go语言实战
- 3. Go 语言实战
- 4. Go 语言教程实战
- 5. 《Go语言实战》.pdf
- 6. go语言RPC实战
- 7. go语言实战 摘抄
- 8. 读《Go 语言实战》
- 9. Go语言实战+code
- 10. Go语言实战(二) - 基础语法
- 更多相关文章...
- • XSL 语言 - XSLT 教程
- • R 语言教程 - R 语言教程
- • Kotlin学习（一）基本语法
- • Docker容器实战(一) - 封神Server端技术
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. python的安装和Hello，World编写
- 2. 重磅解读：K8s Cluster Autoscaler模块及对应华为云插件Deep Dive
- 3. 鸿蒙学习笔记2（永不断更）
- 4. static关键字 和构造代码块
- 5. JVM笔记
- 6. 无法启动 C/C++ 语言服务器。IntelliSense 功能将被禁用。错误: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
- 7. 【Hive】Hive返回码状态含义
- 8. Java树形结构递归（以时间换空间）和非递归（以空间换时间）
- 9. 数据预处理---缺失值
- 10. 都要2021年了，现代C++有什么值得我们学习的？
欢迎关注本站公众号,获取更多信息
相关文章
- 1. ****-Go语言实战合集-Go语言
- 2. Go语言实战
- 3. Go 语言实战
- 4. Go 语言教程实战
- 5. 《Go语言实战》.pdf
- 6. go语言RPC实战
- 7. go语言实战 摘抄
- 8. 读《Go 语言实战》
- 9. Go语言实战+code
- 10. Go语言实战(二) - 基础语法