大数据基础系列之spark的监控体系介绍

          目前有好几种监控spark应用程序的工具:web UIs,指标系统和外部监控仪。 一,web界面 1,界面的基本介绍 每一个Spark应用程序都会启动一个spark ui,默认端口是4040端口,用于展示对应用程序有用的信息。包括以下信息: 1),stages和tasks列表。 2),RDD大小的总概和内存使用。 3),运行环境信息。 4),运行的Executors状态。 你可
相关文章
相关标签/搜索