spark性能调优一--常规调优

一分配更多的资源 二设置spark application的并行度 三RDD架构重构和优化 四广播大变量 五在项目中使用Kryo序列化 六在项目中使用fastutil框架 七调节本地化等待时长 一，分配更多的资源 bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --driver-memory 100m

>>阅读原文<<