websocket ( go srv / JS client) 使用flatbuffers 交互 (Fasthttp系列之3)

代码在 github.com/tsingson/fa…

0. 简要说明

为某个开源项目增长 websocket 对接, 写了这个示例

代码中 javascript 对 flatbuffers 的序列化/反序列化, 查了一天资料, 嗯哼, 最终完成了. 看代码吧.........

---

0.1 关于序列化/反序列化

序列化 serialized / 反序列化 un-serialized , 通常是指对像转成二进制序列( 或叫二进制数组), 以及逆向从二进制转成对像的过程, 通常用在几个地方

1. 网元之间传输. 好比 RESTfull 是在 HTTP 协议( HTML over TCP ) 上进行交互时使用 JSON 数据格式进行序列化与反序列化; 好比 gRPC 默认采用 protobuffers 在 HTTP2 传输上进行数据序列化与反序列化;
2. 对象数据持久化存储到文件系统, 以及从文件系统读取到对象时;
3. 异构开发SDK或API之间交互或共享数据, 好比 go语言调用底层 c++ 库........

0.2 关于 flatbuffers

flatbuffers 是 google 员工在开发游戏过程当中, 仿 protobuffers 写的一个高性能序列化/反序列化库, 经过 IDL (接口描述语言) 定义, 经过 flatc 编译为多种语言的接口对象序列化/反序列化的强类型库, 支持 c++ / c / java / python / rust / js / typescript / go / swift.........

fastbuffers 的介绍, 参见 于德志 的文章 halfrost.com/flatbuffers…, 几篇文章写得很细致,精确,完整

PS: 于德志 的技术专题介绍文章,语言简练易懂, 配图简单明了,很是值得一读

提及来, 个人英文阅读能力还能够, 但不得不说, 访问 于德志 的 halfrost.com/tag/protoco… 仍是很愉悦轻松. 谢谢了!

flatbuffers 的特色, 我的看法:

1. flatbuffers 的序列化, 慢于 protobuffers ( 约是 protobuffers 的两倍耗时) , 与 JSON 相仿, 甚至有时慢于 json
2. flatbuffers 的反序列化, 约10倍快于 protobuffers, 固然也就快于 JSON 了
3. flatbuffers 在反序列化时, 是内在零拷贝, 序列化后的数据与内存中是一致的, 这让 flatbuffers 序列化后的二进制数据直接导入内存, 以及从内存中读取时都很是快

因此, 在一次序列化, 而屡次反序列化的状况下, 以及对反序列化要求速度很是快的状况, 能够考虑选择 flatbuffers , 想一想 google 员工为游戏而开发 flatbuffers 这一典型场景吧

0.3 我在哪里使用( 或计划使用 ) flatbuffers ?

在如下场景中, 我使用了( 或正在计划使用) flatbuffers:

1. Sub/Pub 订阅/发布的消息系统. 在某些 Sub/Pub 场景中, Pub 时序列化消息对象, 尤为是 flatbuffers 中的 union , 挺好用. ------------- 而在 Sub 订阅消费端, 尤为多端消费, 高效的反序列化, 能够减小最多达1/4, 平均1/5 左右时延 (注: 仅是我的应用场景的经验值, 供参考)
2. 内存缓存( 包括 session 会话数据) , 某些应用中的内存缓存须要持久化, 这些内存缓存经过并发保存到多个文件后, 在应用重启时从文件中重建缓存, 很是快
3. IM 即时通信, 以及某些状况下的 gRPC, 这个与第一条相似. 参见我之前的文章 GOIM的架构与定制------ 事实上, 这一篇文章, 正是为定制开发的 IM 而准备. --------- 至于 gRPC , 是的, gRPC 默认的 ptotobuffers 能够用 flatbuffers 更换, 我在几个商用项目中使用, 某商用项目中的 gRPC + flatbuffers 已经上线运行一年了.

0.4 flatbuffers 的重大改进

以前, flatbuffers 在序列化时代码很让人着急, 但2019年12月的一个改进, 让 flatbuffers 序列化时代码简化很多

flatc --gen-object-api ./*.fbs 
复制代码

以上参数的添加, 让 flatbuffers 序列化简单以下:

// --------------- 这是 fbs 文件中的 IDL 
  table LoginRequest{
  msgID:int=1;
  username:string;
  password:string;
  }
  
// -------------- 这是 flatc 编译后的 go 代码
type LoginRequestT struct {
	MsgID    int32
	Username string
	Password string
}

func LoginRequestPack(builder *flatbuffers.Builder, t *LoginRequestT) flatbuffers.UOffsetT {
	if t == nil {
		return 0
	}
	usernameOffset := builder.CreateString(t.Username)
	passwordOffset := builder.CreateString(t.Password)
	LoginRequestStart(builder)
	LoginRequestAddMsgID(builder, t.MsgID)
	LoginRequestAddUsername(builder, usernameOffset)
	LoginRequestAddPassword(builder, passwordOffset)
	return LoginRequestEnd(builder)
}

// ----------- 这是我作的简单封装
func (a *LoginRequestT) Byte() []byte {
	b := flatbuffers.NewBuilder(0)
	b.Finish(LoginRequestPack(b, a))
	return b.FinishedBytes()
}


//---------------- 这里是序列化
	l := &LoginRequestT{
		MsgID:    1,
		Username: "1",
		Password: "1",
	}

	b := l.Byte()  // ------------- 变量 b 是序列化后的二进制数组
	
	
复制代码

1. 使用代码库

示例代码使用了如下开源库

• fasthttp
• fasthttp router
• fastws ---- fasthttp 实现的 websocket 库
• flatbuffers ---- flatbuffers 高效反序列化通用库, 用在 go语言/javascript
• websockets/ws ---- javascript websocket 通用库

1. flatbuffers IDL 示例

xone.fbs 示例来自 www.cnblogs.com/sevenstar/p…, 感谢!!

namespace xone.genflat;

  table LoginRequest{
  msgID:int=1;
  username:string;
  password:string;
  }

  table LoginResponse{
 msgID:int=2;
 uid:string;
 }

 //root_type非必须。

 //root_type LoginRequest;
 //root_type LoginRespons
复制代码

2. flatc 编译代码

生成 javascript

flatc -s --gen-mutable ./*.fbs
复制代码

生成 golang

flatc  --go --gen-object-api --gen-all  --gen-compare  --raw-binary ./*.fbs
复制代码

3. 主要代码说明

./cmd/wsserver/main.go ----- websocket server 
./cmd/wsclient/main.go ----- websocket client
./ws/... -------------------  websocket go code for websocket handler and websocket client 
./jsclient/ws.js  ---------- javascript client code , please check-out package.json for depends
复制代码

4. javascript 序列化/反序列化

请注意代码注释中的--------- 特别注意这一行

// ------------ ./jsclient/index.js

const flatbuffers = require('./flatbuffers').flatbuffers;
const xone = require('./xone_generated').xone; //Generated by `flatc`.

//-------------------------------------------
//  serialized
//-------------------------------------------
let b = new flatbuffers.Builder(1);
let username = b.createString("zlssssssssssssh");
let password = b.createString("xxxxxxxxxxxxxxxxxxx");
xone.genflat.LoginRequest.startLoginRequest(b);
xone.genflat.LoginRequest.addUsername(b, username);
xone.genflat.LoginRequest.addPassword(b, password);
xone.genflat.LoginRequest.addMsgID(b, 5);
let req = xone.genflat.LoginRequest.endLoginRequest(b);
b.finish(req); //建立结束时记得调用这个finish方法。


let uint8Array = b.asUint8Array();   // ------------- 特别注意这一行

console.log(uint8Array);
// console.log(b.dataBuffer() );
//-------------------------------------------
//  un-serialized
//-------------------------------------------
let bb = new flatbuffers.ByteBuffer(uint8Array);  //-------------- 特别注意这一行
let lgg = xone.genflat.LoginRequest.getRootAsLoginRequest(bb);


console.log("username: ", lgg.username());
console.log("password", lgg.password());
console.log("msgID: ", lgg.msgID());

复制代码

5. golang 中对 flatbuffers 的序列化/反序列化

// ------ ./apis/genflat/model.go

func (a *LoginRequestT) Byte() []byte {
	b := flatbuffers.NewBuilder(0)
	b.Finish(LoginRequestPack(b, a))
	return b.FinishedBytes()
}

func ByteLoginRequestT(b []byte) *LoginRequestT {
	return GetRootAsLoginRequest(b, 0).UnPack()
}


// ------- ./apis/genflat/model_test.go

func TestLoginRequestT_Byte(t *testing.T) {
	as := assert.New(t)
	// serialized
	l := &LoginRequestT{
		MsgID:    1,
		Username: "1",
		Password: "1",
	}

	b := l.Byte()

	// un-serialized 
	c := ByteLoginRequestT(b)
	if l.MsgID > 0 {
		fmt.Println(" id > ", c.MsgID, " u > ", c.Username, " pw > ", c.Password)
	}

	as.Equal(l.Password, c.Password)

}

复制代码

6. websocket 代码

ws.onmessage = (event) => {
    //-------------------------------------------------------------------
    //   read from websocket and un-serialized via flatbuffers
    //--------------------------------------------------------------------
    let aa = str2ab(event.data);
    let bb = new flatbuffers.ByteBuffer(aa);
    let lgg = xone.genflat.LoginRequest.getRootAsLoginRequest(bb);
    let pw = lgg.password();

    if (typeof pw === 'string') {
        console.log("----------------------------------------------");

        console.log("username: ", lgg.username());
        console.log("password", lgg.password());
        console.log("msgID: ", lgg.msgID());
    } else {
        console.log("=================================");
        console.log(event.data);
    }


    // console.log(`Roundtrip time: ${Date.now() }` , ab2str(d ));

    setTimeout(function timeout() {
    //-------------------------------------------------------------------
    //   serialized via flatbuffers and send to websocket 
    //--------------------------------------------------------------------
        let b = new flatbuffers.Builder(1);
        let username = b.createString("zlssssssssssssh");
        let password = b.createString("xxxxxxxxxxxxxxxxxxx");
        xone.genflat.LoginRequest.startLoginRequest(b);
        xone.genflat.LoginRequest.addUsername(b, username);
        xone.genflat.LoginRequest.addPassword(b, password);
        xone.genflat.LoginRequest.addMsgID(b, 5);
        let req = xone.genflat.LoginRequest.endLoginRequest(b);
        b.finish(req); //建立结束时记得调用这个finish方法。


        let uint8Array = b.asUint8Array();

        ws.send(uint8Array);
    }, 500);
};

function str2ab(str) {
    let array = new Uint8Array(str.length);
    for (let i = 0; i < str.length; i++) {
        array[i] = str.charCodeAt(i);
    }
    return array
}

复制代码

6. 参考

• github.com/google/flat…

8. License

MIT

---

code by tsingson