Spark kyro Serialization

序列化在分布式系统中扮演着重要的角色,优化Spark程序时,首当其冲的就是对序列化方式的优化。Spark为使用者提供两种序列化方式:web Java serialization: 默认的序列化方式。sql Kryo serialization: 相较于 Java serialization 的方式,速度更快,空间占用更小,但并不支持全部的序列化格式,同时使用的时候须要注册class。spark-s
相关文章
相关标签/搜索