最近须要用Instagram的api抓取其用户的图片,因为须要用oauth2验证, 因此应用必须包含一个web界面。设想可以实时返回下载数量,因此用websocket。还有须要考虑到效率问题,综合以上几点,想用一门语言开发的话,最终选择用golang进行开发,node的回调实在不喜欢。php
关于golang的web开发有很多框架,例如 martini, gin, revel,gorilla等。 以前玩过revel
,感受封装的太多了,做为一个小应用不须要这么复杂,并且google获得结果是revel的效率相对较差。gin
的benchmark显示效率是martini的40倍,可是gin比较新因此他的的生态圈相对较少。最终选择了martini
, 有不少middleware能够选择,其中就包括了websocket,而且背后用的是gorilla websocket这个包。前端
一个跳转到Oauth2登录受权页面的连接node
受权完成后,跳回服务的页面,此时得到了access_token, 就能够随心所欲了。所有的功能也都集中在这个页面,最终的界面以下图所示。laravel
点击链接
是用来打开websocket链接的。开始发送数据
是开始把用户ID发给服务端,服务端调用api开始抓取图片。中止
用于中止本次的抓取服务。已完成数量
用于实时返回抓取的图片数量。golang
这里把Jobs
, goroutine #1
, #2
等做用在全局是为了在websocket断开后,下载还能继续执行。websocket goroutine
是链接创建后的做用域,链接断开后这个goroutine就不存在了。Jobs
, NextUrl
充当队列的角色。 Done
的做用仅仅是计数。这里少写了两个全局变量,Quit chan int
, IsPreparing bool
, 这两个变量是用来让前端控制抓取程序是否进行的。web
简单理解就是一个产生任务的for循环,一个消费任务的for循环,一个用于给client返回计数的for循环。这里不得不感叹,goroutine channel的设计使得编码简单明了。sql
因为第一次正经使用Go,仍是遇到很多问题的。不过需求比较简单,因此没有接触什么深刻的内容。主要集中在强类型带来的问题。json
以前写过一篇关于database/sql的文章,此次直接用了sqlx
这个库,能够少写很多代码,也少犯错误。可是毕竟不如laravel那么方便,所幸须要写的sql很少,临时写几个方法就搞定。同时思考,如何实现一个eloquent的api。貌似有难度。小程序
强类型决定了Json的处理是个痛。以前写过一个天气预报的小程序,用的是map[string]*json.RawMessage
这种映射结构,而后一层一层解开json。当时没发现这是有问题的,由于若是用RawMessage
, 字符串的引号"
也会被保留,使得字符串结果先后多了引号。
此次再次google了一次,发现仍是得用map[string]interface{}
来映射,而后再用type assertion
来一层层的解开json。这是一个痛苦的过程,想起php中的json_decode()
不由泪流满面。segmentfault
如何中断一个goroutine是一个问题,由于须要控制开始中止。谷歌一下很快就有结果。
go func() { for { select { case <-Quit: IsPreparingJobs = false return default: // to do something } } }()
这里设置一个IsPreparingJobs
是用于中断后再次开始这个循环。
Golang提供的测试工具很是方便,go test
就能进行全部测试。从martini源码中复制了两个经常使用方法出来。
func expect(t *testing.T, a interface{}, b interface{}) { if a != b { t.Errorf("Expected %v (type %v) - Got %v (type %v)", b, reflect.TypeOf(b), a, reflect.TypeOf(a)) } } func refute(t *testing.T, a interface{}, b interface{}) { if a == b { t.Errorf("Did not expect %v (type %v) - Got %v (type %v)", b, reflect.TypeOf(b), a, reflect.TypeOf(a)) } }
感受golang做为web开发工具,在数据格式处理方面,没有弱类型语言方便。这点node却是很是好,json转object很是方便。也许配合Promise,node会比较好用吧。golang也有优点,goroutine很是好用,官方的库功能很是全,打包为二进制可执行文件使得部署异常容易,强类型语言效率比较高。
最后有感于前几天的shadowsockets事件,做为一个ss使用者,除了感谢无私的开发者,剩下的就只是愤怒和失望。昨天又看了老罗的T1发布会,Born to be proud
, 天生骄傲
,在坚持作人原则方面,老罗一直是个人楷模。期待今晚的锤子发布会。