Spark 官网阅读笔记

1.spark读取本地文件系统： 则该文件也必须可以在工作节点上的相同路径上访问。所以需要将文件复制到所有work 节点或使用网络安装的共享文件系统。 2.group by key 没有reduceBykey， aggregateBykey高效，（后者是同时分区排序） 3.accumulator 累加器的使用 4.broadcast variables 广播变量的使用 5：Dat

>>阅读原文<<