Spark History Server 架构原理介绍

文章目录 一、eventLog日志文件以及相关参数 eventLog日志文件介绍 相关配置参数 二、两个定时任务 解析eventLog日志文件线程 清理过期的eventLog日志文件的线程 三、History Server的架构 缓存机制 四、一些潜在的问题 1. spark.history.retainedApplications 设置太大导致的OOM问题 2. eventLog 日志文件过大导
相关文章
相关标签/搜索