Scala Spark报错 task not serializable的解决办法

更新时间：2019-08-29 错误描述 今天在写spark程序时，遇到task not serializable的报错，提示task未进行序列化。 在正常spark程序在执行时会进行task序列化，当一些函数里面有外部变量时，不会序列化外部变量，由此报错。 上面报错的主要缘由是在map函数的闭包内引入外部函数，外部变量没有进行序列化，个人代码结构以下：java def test(sc: Spar

>>阅读原文<<