Spark精华问答 | spark性能优化方法

Hadoop再火，火得过Spark吗？今天咱们继续关于Spark的精华问答吧。程序员 1 Q：影响性能的主要因素是什么？面试 A：网络传输开销大算法 硬件资源利用率低sql 同一资源的复用率低docker 2 Q：优化的方向有哪些？数据库 A：设置数据本地化,减小跨节点跨机架的网络传输开销缓存 设置合适的存储格式,推荐orc,缩短查询时间微信 设置内存计算的大小和task数量,根据集群内存和磁盘大

>>阅读原文<<