针对 “单flow含100个有依赖的轻量job”运行异常的案例分析

摘要： 在作业调度某次性能测试开展中，用例“一个工作流中存在100个有相互依赖关系的轻量job”运行异常，经过层层分析，最终发现是运行job的机器unable to create new native thread触发了spark2.0版本的一个bug，并通过修改了最大线程数最终完成了该用例测试执行。 1、案例介绍         在作业调度某次性能测试开展中，用例“一个工作流中存在100个有相互

>>阅读原文<<