Protostuff序列化和反序列化

时间 2019-11-13

标签 protostuff 序列繁體版

原文原文链接

Java序列化和反序列化

Java序列化是Java技术体系当中的一个重要议题，序列化和反序列化是在应对网络编程最常遇到的问题之一。序列化的意义在于信息的交换和存储，一般会和io、持久化、rmi技术有关(eg:一些orm框架会要求持久化的对象类型实现Serializable接口)，咱们也能够序列化时将Java Object转成byte[]；反序列化时将byte[]转成Java Object。及Protostuff的实现方法。
此时，可能有些朋友已经想到了JDK serializable的序列化方式，既然JDK已经有现成的方法了，为何还要使用Protostuff ? 咱们先对常见的序列化方式作一下对比你就知道了。java

序列化框架性能对比（kryo、hessian、java、protostuff）git

简介：github

	优势编程	缺点json
Kryo数组	速度快，序列化后体积小缓存	跨语言支持较复杂网络
Hessian框架	默认支持跨语言jvm	较慢
Protostuff	速度快，基于protobuf	需静态编译
Protostuff-Runtime	无需静态编译，但序列化前需预先传入schema	不支持无默认构造函数的类，反序列化时需用户本身初始化序列化后的对象，其只负责将该对象进行赋值
Java	使用方便，可序列化全部类	速度慢，占空间

测试环境：

硬件信息：

16 Intel(R) Xeon(R) CPU E5620 @2.40GHz

Red Hat Enterprise Linux Server release 5.4 (Tikanga)

java: "1.6.0_27" Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode)

JVM options: java -Xmx256m –server

测试数据：（见附件）

ArrayList.class

MediaContent.class

Media.class

Image.class

测试方法：（参考自https://github.com/eishay/jvm-serializers）

一、 在正式测试以前，将测试用例运行10次对JVM进行预热。

二、 对测试用例的每一个方法，运行2000次，取平均值。

三、 每次测试用例运行500次，取最优结果

测试基准：

ser: 建立一个对象，并将其序列化成byte数组的时间

deser: 将byte数组反序列化成对象的时间

total: 建立一个对象，将其序列化成byte数组再反序列化为对象的总时间

size: 序列化后的数组大小

size+dfl: 序列化后用level6级别的zlib进行压缩后的大小

测试工具：

序列化工具	序列化方式
kryo	使用kryo默认的序列化方式fieldSerializer，对须要序列化的对象采起默认的操做。开启reference，关闭register
protostuff	使用静态编译生成的Schema进行序列化
protostuff-runtime	使用protostuff-runtime框架生成Schema进行序列化

测试结果：

时间：

大小：

总结：

Kryo在类注册且reference关闭的状况下，序列化速度和大小明显优于hessian和java，接近于protostuff。开启reference后将序列化速度将明显变慢，但仍旧优于hessian。

Protostuff简介

Protostuff的项目主页：http://www.protostuff.io/

Protostuff是一个序列化库，支持一下序列化格式：

protobuf
protostuff(本地)
graph
json
smile
xml
yaml
kvp

序列化和反序列化工具

序列化

@SuppressWarnings("unchecked")
public static <T> byte[] serialize(T obj) {
    Class<T> cls = (Class<T>) obj.getClass();
    LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
    try {
        Schema<T> schema = getSchema(cls);
        return ProtostuffIOUtil.toByteArray(obj, schema, buffer);
    } catch (Exception e) {
        throw new IllegalStateException(e.getMessage(), e);
    } finally {
        buffer.clear();
    }
}

第3行：得到对象的类；
第4行：使用LinkedBuffer分配一块默认大小的buffer空间；
第6行：经过对象的类构建对应的schema；
第7行：使用给定的schema将对象序列化为一个byte数组，并返回。

反序列化

public static <T> T deserialize(byte[] data, Class<T> cls) {
    try {
        T message = objenesis.newInstance(cls);
        Schema<T> schema = getSchema(cls);
        ProtostuffIOUtil.mergeFrom(data, message, schema);
        return message;
    } catch (Exception e) {
        throw new IllegalStateException(e.getMessage(), e);
    }
}

第3行：使用objenesis实例化一个类的对象；
第4行：经过对象的类构建对应的schema；
第5，6行：使用给定的schema将byte数组和对象合并，并返回。

构建schema

构建schema的过程可能会比较耗时，所以但愿使用过的类对应的schema能被缓存起来。代码以下，再也不赘述：

private static Map<Class<?>, Schema<?>> cachedSchema = new ConcurrentHashMap<>();

private static <T> Schema<T> getSchema(Class<T> cls) {
    Schema<T> schema = (Schema<T>) cachedSchema.get(cls);
    if (schema == null) {
        schema = RuntimeSchema.createFrom(cls);
        if (schema != null) {
            cachedSchema.put(cls, schema);
        }
    }
    return schema;
}

能够看到方法第4行使用了RuntimeSchema，关于RuntimeSchema的用法参考例子：

eg:

<!--protostuff序列化依赖-->
<dependency>
    <groupId>com.dyuproject.protostuff</groupId>
    <artifactId>protostuff-core</artifactId>
    <version>1.1.2</version>
</dependency>
<dependency>
    <groupId>com.dyuproject.protostuff</groupId>
    <artifactId>protostuff-runtime</artifactId>
    <version>1.1.2</version>
</dependency>

package com.jhaso.shopping.util;

import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.Schema;
import com.dyuproject.protostuff.runtime.RuntimeSchema;

import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

/**
 * @author 侠客人生
 * @ClassName ProtostuffUtil
 * @Description Protostuff序列化工具类
 * @create 2017-08-10 22:23
 * @version: V1.0.0
 **/
public class ProtostuffUtil {

    private static Map<Class<?>, Schema<?>> cachedSchema = new ConcurrentHashMap<Class<?>, Schema<?>>();

    private static <T> Schema<T> getSchema(Class<T> clazz) {
        @SuppressWarnings("unchecked")
        Schema<T> schema = (Schema<T>) cachedSchema.get(clazz);
        if (schema == null) {
            schema = RuntimeSchema.getSchema(clazz);
            if (schema != null) {
                cachedSchema.put(clazz, schema);
            }
        }
        return schema;
    }

    /**
     * 序列化
     *
     * @param obj
     * @return
     */
    public static <T> byte[] serializer(T obj) {
        @SuppressWarnings("unchecked")
        Class<T> clazz = (Class<T>) obj.getClass();
        LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
        try {
            Schema<T> schema = getSchema(clazz);
            return ProtostuffIOUtil.toByteArray(obj, schema, buffer);
        } catch (Exception e) {
            throw new IllegalStateException(e.getMessage(), e);
        } finally {
            buffer.clear();
        }
    }

    /**
     * 反序列化
     *
     * @param data
     * @param clazz
     * @return
     */
    public static <T> T deserializer(byte[] data, Class<T> clazz) {
        try {
            T obj = clazz.newInstance();
            Schema<T> schema = getSchema(clazz);
            ProtostuffIOUtil.mergeFrom(data, obj, schema);
            return obj;
        } catch (Exception e) {
            throw new IllegalStateException(e.getMessage(), e);
        }
    }

}

序列化方式	无默认构造函数	循环引用	对象为null	是否须要预先知道对象所属的类	大对象(4M)
Kryo	支持	需将reference选项打开	支持	不须要，关闭register	支持
Java	支持	支持	支持	不须要	支持
Protostuff	支持	支持	支持	不须要	支持
Protostuff -runtime	不支持	支持	支持	须要	支持
Hessian	支持	支持	支持	不须要	支持