spark经常使用的调参详解

 1.在submit中设置 在submit中设置注意后面的  \  sql --conf "spark.shuffle.blockTransferService=nio" \   大数据集shuffle的时候，节点之间传输数据时使用netty 改成nio --conf "spark.debug.maxToStringFields=500"  \     字段的字符串太长了 --conf "spar

>>阅读原文<<