Spark Streaming 在数据平台日志解析功能的应用

目前支持解析的日志类型包括：Hive 任务、Spark 任务、Datay 增量任务、导入任务、导出、MR 任务、Hbasebulk、脚本任务等。dataplatform 支持的调度类型为：批量重跑、测试类型、正常调度和手动导入任务。 一、日志解析功能的背景 通过日志，我们可以获得很多有用的信息，最常见的日志信息包括应用产生的访问日志、系统的监控日志，本文所针对的日志是大数据离线任务产生的运行日志。

>>阅读原文<<