SparkSQL简单教程

当面对一堆格式化的数据须要作一些统计分析的时候，awk是个很是不错的选择。可是当数据量上来之后，经过单机awk的方式处理就显得有些力不从心，这个时候咱们能够经过SparkSQL来模拟sql的方式来处理这些海量数据，如今就给你们举个实例，看看怎么经过简单的几行代码用SparkSQL的方式来分析海量数据。java 1.原始数据 在hdfs上有个路径为XXX，数据规模大概为100G左右，都是格式化的标准

>>阅读原文<<