Spark开发问题解决（一）：序列化报错 java.io.notSerializableException: org.apache.spark.SparkContext

序列化问题产生背景 在写Spark的应用时，经常会碰到序列化的问题。例如，在Driver端的程序中创建了一个对象，而在各个Executor中会用到这个对象 —— 由于Driver端代码与Executor端的代码运行在不同的JVM中，甚至在不同的节点上，因此必然要有相应的序列化机制来支撑数据实例在不同的JVM或者节点之间的传输。 一般来说这个问题的出现都是在map或者filter等算子中使用了外部的

>>阅读原文<<