十四.Spark SQL总结之spark日志文件数据格式的转换

第一步.数据源 找到spark的日志数据源,在/root/spark/spark-2.0.2-bin-hadoop2.7/logs目录下: 通过对文件的读取,统计其中数据的条数: val masterLog = sc.textFile("file:///root/spark/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.dep

>>阅读原文<<