Spark本地调试和程序重启checkpoint恢复碰到的问题

Spark本地调试和程序重启checkpoint恢复碰到的问题 1、产生问题的背景 　　今天自测Spark程序碰到两个问题，(1)、启动流式程序报错 (2)、重启Spark程序,同一个对象的部分数据恢复了，一部分没有恢复 　　第一个问题的报错信息： 　　第二个问题的结果信息： 2、排查问题的原因 　　第一个问题的原因是:没有配置hadoop的环境变量,导致在写checkpoint数据的时候报错了。

>>阅读原文<<