spark 大型项目实战(四十七):troubleshooting之解决各种序列化导致的报错

你会看到什么样的序列化导致的报错？ 用client模式去提交spark作业，观察本地打印出来的log。如果出现了类似于Serializable、Serialize等等字眼，报错的log，那么恭喜大家，就碰到了序列化问题导致的报错。 虽然是报错，但是序列化报错，应该是属于比较简单的了，很好处理。 序列化报错要注意的三个点： 1、你的算子函数里面，如果使用到了外部的自定义类型的变量，那么此时，就要求你

>>阅读原文<<