Spark部分的调优（代码调优，内存优化，调节Executor的堆外内存，shuffle调优，解决数据倾斜，Spark故障解决）【原理及方法介绍】

 shuffle调优中调节参数的几种方式：java 配置这些参数有两种方式node 1. 在程序中硬编码 例如 sparkConf.set("spark.shuffle.file.buffer","64k")mysql 2. 提交 application 时在命令行指定 例如 spark-submit --conf spark.shuffle.file.buffer=64k --conf 配置信息

>>阅读原文<<