MapReduce当中的计数器

MapReduce当中的计数器 计数器是收集作业统计信息的有效手段之一,用于质量控制或应用级统计 计数器还可辅助诊断系统故障。 如果需要将日志信息传输到map 或reduce 任务, 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。 对于大型分布式作业而言,使用计数器更为方便。除了因为获取计数器值比输出日志更方便,还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多。
相关文章
相关标签/搜索