Protobuf协议优化研究与Node.js使用

Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。

特点:语言无关、平台无关、可扩展序列化结构。

场景:数据存储和交换。

优点:定义简单、(反)序列化速度快、支持多种数据结构

编码优化

Varint 编码:不定长二进制整型编码

007S8ZIlgy1gixl5y05y6j30jy06rgm4.jpg

第一位的 0 或者 1 代表:是否是数字的尾部;剩下的 7 位用于记录数字的二进制。

例如,数字 299 在 int32 下是:

1
00000000 00000000 00000001 00101011

编码后是:

1
10101011 00000010

优点很明显:节省了 2 个字节。

对于小于$2^{28}$的 int32 或者 int64,Varint 起到压缩效果。对于大数字,位数反而更多。但是,正常情况下小数字使用频率远远高于大数字

Zigzag: 有符号数编码优化

原因:对于负数,是以补码形式存储(数大),占用位数多。

作用:将有符号整数映射为无符号整数,例如 -1 => 1;原本无符号的整数,变成之前的 2 倍,例如 1 => 2。

007S8ZIlgy1gixl6jtdc1j30fw0d43yr.jpg

传输优化

protobuf 是以下面的形式传输的。优点如下:

  • Field 之间没有区分符号,节省字节
  • Key 是 filed_id

007S8ZIlgy1gixl79jgogj30ci04gmxd.jpg

第 2 点比较难理解。比如一个 proto:

1
2
3
message demo {
number age = 1;
}

对于 filed age 来说,field id 是 1。但是传输的时候不会传输 Key(也就是”age”),而是根据 field id 以及数据类型进行位运算,生成一个整数。规则如下

1
(field_id << 3) | wire_type

007S8ZIlgy1gixl7lqq2tj30qn0brq41.jpg

消费端接收到数据流后,可以很快通过位运算解出 filed(id+value)。然后根据 id,再去读取 proto 定义文件(生产端和消费端共有),将其处理成对应的 key。

流程如上,优化了网络传输数据量,更多逻辑放在本地。

Node 中使用 protobuf

.proto 定义

person.proto:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
package person; // 名字空间
syntax = "proto3";

message PersonMessage {
required string name = 1;
optional string email = 2;
// 枚举
enum SexType {
UNKNOWN = 0;
MALE = 1;
FEMALE = 2;
}
required SexType sex = 3 [default = UNKNOWN]; // 默认值

// 嵌套message
message LocationType {
required string country = 1;
}
optional LocationType location = 4;
}

student.proto :

1
2
3
4
5
6
7
8
9
10
syntax = "proto3";

import "./person.proto"; // 模块引用

package student;

message StudentMessage {
required string school = 1;
required person.PersonMessage teacher = 2;
}

加载、验证、编/解码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
const protobuf = require('protobufjs');

main();

function main() {
const payload = {
school: 'szu',
teacher: {
name: 'dongyuanxin',
sex: 2,
location: {
country: 'zh-cn',
},
},
};

protobuf.load('./student.proto').then((root) => {
const AwesomeMessage = root.lookupType('student.StudentMessage');

// step1:校验是否合法
let verified = AwesomeMessage.verify(payload);
if (verified) {
// verified 存放不合法信息
throw new Error(verified);
}

// step2: 工厂模式创建编译/解码器
let message = AwesomeMessage.create(payload);
console.log(message);

// step3: 编译为2进制
let buffer = AwesomeMessage.encode(message).finish();
console.log(buffer);
// step4: 解码
let decoded = AwesomeMessage.decode(buffer);
console.log(decoded);
});
}

参考链接