记录一次服务器重启后sparkStreaming任务启动失败原因及排查过程

因特殊原因公司服务器从晚上6点开始CPU资源使用率飙升至100% 然后运维重启服务器,重新构建此服务器上所有作业 然而第二天早上查看日志发现,有一个job作业启动失败,经过一系列排查最终解决,特此记录一下 此作业是sparkStreaming 读取kafka topic并存储至hbase ,offset保存在zookeeper; 此问题并非是常见的offset过期或offset不一致问题; 请往下
相关文章
相关标签/搜索