Spark Metrics实现原理

Spark 任务的Metrics 是经过Spark中的accumulator来辅助实现的。 accumulator 定义 // 1.1 定义 accumulator来收集 task 运行统计信息，包括 runTime,cpuTime,GCTime等 class TaskMetrics private[spark] () extends Serializable { // Each metri

>>阅读原文<<