【零】SparkSQL特性与优化

SparkSQL特性之:代码量少,可读性高。 计算平均数的功能,左是hadoop写MapReduce的代码量,太繁琐。右是用Spark Core RDD API写,代码量少但可读性不好。 同样是计算平均数,用Spark SQL或者DataFrame,代码可读性比RDD好很多。 SparkSQL特性之:统一访问操作接口。 在SparkSQL中read/write不同格式的数据都是有统一个接口。支持(
相关文章
相关标签/搜索