Protobuffer和json深度对比

时间 2019-11-12

原文原文链接

JSON相信你们都知道是什么东西，若是不知道，那可就真的OUT了，GOOGLE一下去。这里就不介绍啥的了。javascript

Protobuffer你们估计就不多据说了，但若是说到是GOOGLE搞的，相信你们都会有兴趣去试一下，毕竟GOOGLE出口，多属精品。java

Protobuffer是一个相似JSON的一个传输协议，其实也不能说是协议，只是一个数据传输的东西罢了。python

那它跟JSON有什么区别呢？json

跨语言，这是它的一个优势。它自带了一个编译器，protoc，只须要用它进行编译，能够编译成JAVA、python、C++代码，暂时只有这三个，其余就暂时不要想了，而后就能够直接使用，不须要再写任何其余代码。连解析的那些都已经自带有的。JSON固然也是跨语言的，但这个跨语言是创建在编写代码的基础上。windows

若是想再深刻了解的，能够去看看：服务器

https://developers.google.com/protocol-buffers/docs/overviewapp

好了，废话很少说，咱们直接来看看，为何咱们须要对比protobuffer（下面简称GPB）和JSON。maven

一、JSON由于有必定的格式，而且是以字符存在的，在数据量上还有能够压缩的空间。而GPB上大数据量时，空间比JSON小不少，等一下的例子咱们能够看到。测试

二、JSON各个库之间的效率相差比较大，jackson库和GSON就大概有5-10的差距（这个只作过一次测试，若有误，请你们轻拍）。而GPB只须要一个，没有所谓的多个库的区别。固然这个点只是弄出来凑数的，能够忽略不计哈。大数据

Talk is cheap,Just show me the code。

在程序界，代码永远是王道，下面就直接来代码吧。

上代码前，你们要先下载protobuffer，在这里：

https://code.google.com/p/protobuf/downloads/list

注意，须要下载两个，一个是complier，另一个是source code，相信这个难不倒你们了，这里略过。

一、首先，GPB是须要有一个相似类定义的文件，叫proto文件。

咱们以学生和老师的例子来进行一个例子：

咱们有如下两个文件：student.proto

Java代码

option java_package = "com.shun";
option java_outer_classname = "StudentProto";
message Student {
required int32 id = 1;
optional string name = 2;
optional int32 age = 3;
}

teacher.proto

Java代码

import "student.proto";
option java_package = "com.shun";
option java_outer_classname = "TeacherProto";
message Teacher {
required int32 id = 1;
optional string name = 2;
repeated Student student_list = 3;
}

这里咱们遇到了一些比较奇怪的东西：

import,int32,repated,required,optional,option等

一个个来吧：

1）import表示引入其余的proto文件

2）required,optional表示字段是否可选，这个决定了该字段有无值的状况下protobuffer会进行什么处理。若是标志了required，但当处理时，该字段没有进行传值，则会报错;若是标志了optional，不传值则不会有什么问题。

3）repeated相信应该都看得懂了，就是是否重复，跟JAVA里面的list相似

4）message就是至关于class了

5）option表示选项，其中的java_package表示包名，即生成JAVA代码时使用的包名，java_outer_classname即为类名，注意这个类名不能跟下面的message中的类名相同。

至于还有其余的选项和相关类型的，请参观官方文档。

二、有了这几个文件，咱们能怎么样呢？

记得上面下载的编译器了吧，解压出来，咱们获得一个protoc.exe，这固然是windows下的，我没弄其余系统的，有兴趣的同窗去折腾下罗。

加到path（加不加能够随便，只是方不方便而已），而后就能够经过上面的文件生成咱们须要的类文件了。

protoc --java_out=存放源代码的路径 --proto_path=proto文件的路径 proto具体文件

--proto_path指定的是proto文件的文件夹路径，并非单个文件，主要是为了import文件查找使用的，能够省略

如我须要把源代码放在D:\protobufferVsJson\src，而个人proto文件存放在D:\protoFiles

那么个人编译命令就是：

protoc --java_out=D:\protobufferVsJson\src

D:\protoFiles\teacher.proto D:\protoFiles\student.proto

注意，这里最后的文件，咱们须要指定须要编译的全部文件

编译后能够看到生成的文件。

代码就不贴出来了，太多了。你们能够私下看看，代码里面有一大堆Builder，相信一看就知道是建造者模式了。

这时能够把代码贴到你的项目中了，固然，错误一堆了。

记得咱们前面下载的源代码吗？解压它吧，不要手软。而后找到src/main/java/复制其中的一堆到你的项目，固然，你也能够ant或者maven编译，但这两个东西我都不熟，就不献丑了，我仍是习惯直接复制到项目中。

代码出错，哈哈，正常。不知道为什么，GOOGLE非要留下这么个坑给咱们。

翻回到protobuffer目录下的\java看到有个readme.txt了吧，找到一句：

看来看去，感受这个代码会有点奇怪的，好像错错的感受，反正我是没按那个执行，个人命令是:

Java代码

protoc --java_out=仍是上面的放代码的地方 proto文件的路径（这里是descriptor.proto文件的路径）

执行后，咱们能够看到代码中的错误木有了。

三、接下来固然就是测试了。

咱们先进行GPB写入测试：

Java代码

package com.shun.test;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoWriteTest {
public static void main(String[] args) throws IOException {
Student.Builder stuBuilder = Student.newBuilder();
stuBuilder.setAge(25);
stuBuilder.setId(11);
stuBuilder.setName("shun");
//构造List
List<Student> stuBuilderList = new ArrayList<Student>();
stuBuilderList.add(stuBuilder.build());
Teacher.Builder teaBuilder = Teacher.newBuilder();
teaBuilder.setId(1);
teaBuilder.setName("testTea");
teaBuilder.addAllStudentList(stuBuilderList);
//把gpb写入到文件
FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout");
teaBuilder.build().writeTo(fos);
fos.close();
}
}

咱们去看看文件，如无心外，应该是生成了的。

生成了以后，咱们确定要读回它的。

Java代码

package com.shun.test;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoReadTest {
public static void main(String[] args) throws FileNotFoundException, IOException {
Teacher teacher = Teacher.parseFrom(new FileInputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout"));
System.out.println("Teacher ID:" + teacher.getId() + ",Name:" + teacher.getName());
for (Student stu:teacher.getStudentListList()) {
System.out.println("Student ID:" + stu.getId() + ",Name:" + stu.getName() + ",Age:" + stu.getAge());
}
}
}

代码很简单，由于GPB生成的代码都帮咱们完成了。

上面知道基本的用法了，咱们重点来关注GPB跟JSON生成文件大小的区别，JSON的详细代码我这里就不贴了，以后会贴出示例，你们有兴趣能够下载。

这里咱们用Gson来解析JSON，下面只给出对象转换成JSON后写出文件的代码：

两个类Student和Teacher的基本定义就不弄了，你们随意就行，代码以下：

Java代码

package com.shun.test;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.google.gson.Gson;
import com.shun.Student;
import com.shun.Teacher;
public class GsonWriteTest {
public static void main(String[] args) throws IOException {
Student stu = new Student();
stu.setAge(25);
stu.setId(22);
stu.setName("shun");
List<Student> stuList = new ArrayList<Student>();
stuList.add(stu);
Teacher teacher = new Teacher();
teacher.setId(22);
teacher.setName("shun");
teacher.setStuList(stuList);
String result = new Gson().toJson(teacher);
FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json");
fw.write(result);
fw.close();
}
}

接下来正式进入咱们的真正测试代码了，前面咱们只是在列表中放入一个对象，接下来，咱们依次测试100,1000,10000,100000,1000000,5000000这几个数量的GPB和JSON生成的文件大小。

改进一下以前的GPB代码，让它生成不一样数量的列表，再生成文件：

Java代码

package com.shun.test;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoWriteTest {
public static final int SIZE = 100;
public static void main(String[] args) throws IOException {
//构造List
List<Student> stuBuilderList = new ArrayList<Student>();
for (int i = 0; i < SIZE; i ++) {
Student.Builder stuBuilder = Student.newBuilder();
stuBuilder.setAge(25);
stuBuilder.setId(11);
stuBuilder.setName("shun");
stuBuilderList.add(stuBuilder.build());
}
Teacher.Builder teaBuilder = Teacher.newBuilder();
teaBuilder.setId(1);
teaBuilder.setName("testTea");
teaBuilder.addAllStudentList(stuBuilderList);
//把gpb写入到文件
FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\proto-" + SIZE);
teaBuilder.build().writeTo(fos);
fos.close();
}
}

这里的SIZE依次改为咱们上面听说的测试数，能够获得以下：

而后咱们再看看JSON的测试代码：

Java代码

package com.shun.test;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.google.gson.Gson;
import com.shun.Student;
import com.shun.Teacher;
public class GsonWriteTest {
public static final int SIZE = 100;
public static void main(String[] args) throws IOException {
List<Student> stuList = new ArrayList<Student>();
for (int i = 0; i < SIZE; i ++) {
Student stu = new Student();
stu.setAge(25);
stu.setId(22);
stu.setName("shun");
stuList.add(stu);
}
Teacher teacher = new Teacher();
teacher.setId(22);
teacher.setName("shun");
teacher.setStuList(stuList);
String result = new Gson().toJson(teacher);
FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json" + SIZE);
fw.write(result);
fw.close();
}
}

一样的方法修改SIZE，并做相应的测试。

能够明显得看到json的文件大小跟GPB的文件大小在数据量慢慢大上去的时候就会有比较大的差异了，JSON明显要大上许多。

上面的表应该能够看得比较清楚了，在大数据的GPB是很是占优点的，但通常状况下客户端和服务端并不会直接进行这么大数据的交互，大数据主要发生在服务器端的传输上，若是你面对需求是天天须要把几百M的日志文件传到另一台服务器，那么这里GPB可能就能帮你的大忙了。

说是深度对比，其实主要对比的是大小方面，时间方面可比性不会太大，也没相差太大。

文章中选择的Gson解析器，有兴趣的朋友能够选择Jackson或者fastjson，又或者其余的，但生成的文件大小是同样的，只是解析时间有区别。

1. Protobuffer和json深度对比
2. 10.jmeter jsr223 javascript 深度比对json object
3. Angular和Vue.js 深度对比
4. Angular.js和Vue.js 深度对比
5. 深刻对比TOML，JSON和YAML
6. bson和json性能对比
7. Unity Protobuf和JSON对比
8. TypeScript VS JavaScript 深度对比
9. 各深度相机对比
10. 灰度、亮度、对比度、饱和度
更多相关文章...
• PHP JSON - PHP教程
• R JSON 文件 - R 语言教程
• 算法总结-深度优先算法
• 算法总结-广度优先算法