Spark join问题

本篇文章是关于我在学习 Spark 过程中遇到的一些问题及总结,分为Spark优化、RDD join问题、遇到的问题、总结、参考资料几个部分。  一:Spark优化  1、设置序列化器为KryoSerializer    Spark默认使用的是Java序列化机制,但是Spark也支持使用Kryo序列化库,Kryo序列化机制比Java序列化机制性能高10倍左右    2、压缩机制    如果数据量很
相关文章
相关标签/搜索