Kryo序列化与Java序列化

1.序列化在Spark中的用处java 在算子函数中使用到外部变量时,该变量会被序列化后进行网络传输 将自定义的类型做为RDD的泛型类型时(好比JavaRDD,Student是自定义类型),全部自定义类型对象,都会进行序列化。所以这种状况下,也要求自定义的类必须实现Serializable接口。web 使用可序列化的持久化策略时(好比MEMORY_ONLY_SER),Spark会将RDD中的每一个
相关文章
相关标签/搜索