Spark参数调优须要对各个参数充分理解，没有一套能够借鉴的参数，由于每一个集群规模都不同，只有理解了参数的用途，调试出符合本身业务场景集群环境，而且能在扩大集群、业务的状况下，可以跟着修改参数才算是正确的参数调优。html
本系列文章仅为我的理解与观点，若是任何地方有疑问与错误，欢迎评论指正！apache
（上次更新时间---2018-09-05 15：07）网络
一、背景spa
Spark2.2.1版本(现升级到了2.3.1版本)，其实官方文档中，相关的参数已经写的很详细了，这边仔细阅读了官方文档，.net
并结合了实际情景，实践以后，整理了这篇博客。调试
官方文档：htm
http://spark.apache.org/docs/2.2.1/configuration.htmlblog
yarn:内存
http://spark.apache.org/docs/2.2.1/running-on-yarn.html#configuration文档
二、参数详解
① Application Properties 应用基本属性
https://blog.csdn.net/zyzzxycj/article/details/82255979
② Runtime Environment 运行环境
https://blog.csdn.net/zyzzxycj/article/details/82256032
③ Shuffle Behavior
https://blog.csdn.net/zyzzxycj/article/details/82256081
④ Spark UI
https://blog.csdn.net/zyzzxycj/article/details/82256109
⑤ Compression and Serialization 压缩和序列化
http://www.javashuo.com/article/p-oaatpmce-nr.html
⑥ Memory Management 内存管理
https://blog.csdn.net/zyzzxycj/article/details/82256162
⑦ Executor behavior 执行器
http://www.javashuo.com/article/p-qqniamvl-nr.html
⑧ Networking 网络
http://www.javashuo.com/article/p-gnqaytqq-nr.html
⑨ Scheduling 调度
https://blog.csdn.net/zyzzxycj/article/details/82256244
⑩ Dynamic Allocation 动态分配
http://www.javashuo.com/article/p-aiqhzwiw-nr.html
11 Spark Streaming