Spark Web UI 监控

平常铺垫 本人最终用于大数据集测试的集群中包含4个节点,每一个节点是一个worker,每一个worker上启动一个Executor,其中Driver也跑在master上。每一个Executor可以使用的核数为2,可用的内存为2g,集群中全部Executor最大可用核数为8。 conf/spark-defaults.conf 部分参数配置以下:node spark.master
相关文章
相关标签/搜索