spark的一点总结

1.要知道1个线程也是能够运行多个task的！只不过若是同时运行多个task就会出现运行一下子这个，运行一下子那个，这样轮流运行的状况！ 2.读取本地文件和hdfs文件的分区数(partition数)是不同的！ 3.能够用sparkconf在setMaster以后设置并行度，也就是线程数，同时也能够设置分区数(也就是partition数量)，因此会出现一个线程运行多个partition的状况，  

>>阅读原文<<