使用spark过程中遇到的技术问题及自身问题

最近的一个项目中使用了spark技术过程遇到的一些问题，下面就以问题来分析原因及解决过程。 问题 1、创建sparkView没有加限制条件，导致创建几十上百万大数据量的view时，多库的情况下在driver创建了 大量的view,就把driver端的内存撑爆了，之前线上没有暴露出来的这个问题原因主要是每一个小时都会处理一次,每次数据量都不大，后面任务有停了几天，数据量突增了很多，这时就出现很多问题

>>阅读原文<<