Spark on Yarn 最佳运行参数调优-计算方式

Spark on Yarn 参数调优-计算方式 1. 整理机器信息 机器数： 3台 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 或grep 'physical id' /proc/cpuinfo | sort -u | wc -l 每台机器核数：8核 # 查看每一个物理CPU中core的

>>阅读原文<<