大数据之数据质量

1、数据质量评估

1. 完整性

2. 准确性

3. 及时性

4. 一致性

2、如何提高数据质量

1. 事前定义数据的监控规则

提炼规则:梳理对应指标、肯定对象(多表、单表、字段)、经过影响程度肯定资产等级、质量规则制定web

2. 事中监控和控制数据生产过程

  • 质量监控和工做流无缝对接
  • 支持定时调度
  • 强弱规则控制ETL流程
  • 对脏数据进行清洗

3. 过后分析和问题跟踪

  • 邮件短信报警
  • 稽核报告查询
    数据质量报告的概览、历史趋势、异常查询、数据质量表覆盖率
  • 问题分析
    异常评估、严重程度、影响范围、问题分类
  • 表打分和质量趋势
  • 报警问题跟踪处理
    参考博文