Spark日志清洗通常流程

spark 1.6.1 python 2.7.11html 前言 整理了一下使用spark来进行日志清洗及数据处理的套路，这里以pyspark为例python pyspark的启动任务套路 对于使用spark做为查询清洗工具而言，启动spark的套路主要使用sh文件进行终端带参数启动，启动后开始调用sh传递处理参数，而且构造好sparkconf后传递提交(spark-submit) python文

>>阅读原文<<