kafka+spark-streaming实时推荐系统性能优化笔记

1) --conf spark.dynamicAllocation.enabled=false 如果正在使用的是CDH的Spark，修改这个配置为false；开源的Spark版本则默认是false。 当为true时，即使指定了num-executors个数，spark-streaming应用也会占用整个集群的资源。   2) --conf spark.streaming.concurrentJob

>>阅读原文<<