java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题

sparkcontext无法被序列化的问题,当我们在使用RDD调用map等算子,或者Dstream使用transform时,我们需要在它们的重写的方法里面,需要利用sparkcontext 比如把一个集合转化为RDD,但是一运行就报java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext(sparkco
相关文章
相关标签/搜索