sparksql代码执行过于缓慢

最近服务器状态不佳,oracle有时性能较差,运行sparksql向oracle中存数据时运行超级缓慢,开始还特地排查代码找错,最终换了一个oracle数据库作实验发现整个流程在几秒内很是顺利的完成了,可见oracle性能对sparksql执行速度影响巨大,特此记录这次事件。sql 如下是运行时部分日志,能够看到每执行1/200的进度要30000ms,整个预计要200*30=6000秒才能完毕。。
相关文章
相关标签/搜索