让Spark成为你的瑞士军刀

今天基本算是完成了一个类似spark-jobserver 的功能，当然功能还是比较简单的，不过提供了Web界面。很感慨Spark 用好了，真的是大数据的瑞士军刀 依托于Spark Streaming /Spark SQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变换。 完成了数据的流转和变换，接着就是查询了，通过对Spar

>>阅读原文<<