[论文笔记] Methodologies for Data Quality Assessment and Improvement (ACM Comput.Surv, 2009) (1)

Carlo Batini, Cinzia Cappiello, Chiara Francalanci, and Andrea Maurino. 2009. Methodologies for data quality assessment and improvement. ACM Comput. Surv. 41, 3, Article 16 (July 2009), 52 pages. (gs:173)

  

    这篇论文是关于数据质量方法的综述，全文共52页（其中正文34页，附录18页），对现有的"data quality methodologies"进行了系统比较。

    正文首先对这个领域进行了简单介绍(S1)，而后介绍了研究数据质量方法(methodology)的六个角度(phases&steps, strategies&techniques, dimensions, costs, types of data, types of information systems) (S2)，以后从上述六个角度对现有的一些主流数据质量方法进行了比较分析(S3)，最后是总结和open issues。在附录里共介绍了13种data quality methodologies.

如下是论文的一些摘要和笔记：

1. 摘要里提到，当前数据质量领域研究热点在“defining methodologies that help the selection, customization, and application of data quality assessment and improvement techniques”。

2. common phases of DQ methodologies (DQM)(S2.1)
(1) state reconstruction (optional): 收集上下文信息 (DQM中通常不讨论这个步骤)
(2) assessment/measurement: 根据相关的数据维度，度量数据集的质量。
    measurement: “measuring the value of a set of data quality dimensions”
    assessment: “when such measurements are compared to reference values, in order to enable a diagnosis of quality”

(3) improvement: 关于达到数据质量目标而选择的步骤、策略和技术

3. assessment phase的步骤(S2.1):
(1) data analysis: 关心data schemas, data, related architectural and management rules
(2) DQ requirements analysis: 跟数据的用户和管理员肯定存在的质量问题和须要达到的目标
(3) identification of critical areas: 选中最重要的databases & data flows，以进行量化评估
(4) process modeling: 数据产生和更新的流程模型
(5) measurement of quality: 选出受第二步识别的质量问题影响的quality dimensions，定义相关的metrics.

在assessment phase，metadata可提供一些数据理解和评估须要的信息。

4. improvement phase的步骤(S2.1):
(1) evaluation of costs
(2) assignment of process responsibilities
(3) assignment of data responsibilities
(4) identification of the causes of errors
(5) selection of strategies and techniques
(6) design of data improvement solutions
(7) process control
(8) process redesign
(9) improvement management
(10) improvement monitoring

5. 主要有两类strategies (S2.2)
data-driven strategies: 经过直接修改数据的值来提升数据质量。
process-driven strateiges: 经过从新设计数据产生与修改的流程来提升质量。

6. data-driven strategies用到的improvement techniques有： (S2.2)
(1) acquisition of new data：获取更高质量的数据来替换原有引发质量问题的数据
(2) standardization(or normalization): 好比使用正式名称来取代昵称或简称
(3) record linkage(记录链结): 识别多个表中存在的可能指向同一个对象的数据
(4) data and schema integration: 对异质数据源的数据提供统一的视图。存在三种类型的异质：
        technological heterogeneities: 缘由是使用的产品不一样
        schema heterogeneities: 是因为使用了不一样的数据模型（好比一个用关系数据库模型，另外一个用XML数据模型）；或虽然使用了同一种数据模型，但表示方式不同
        instance-level heterogeneities: 不一样源为同一个对象提供了冲突的数据
(5) source trustworthiness: 根据数据质量来选择数据源
(6) error localization and correction: 经过一些规则来发现存在的数据质量问题并予以修正
(7) cost optimization

7. process-driven strategies主要有两种techniques: (S2.2)
(1) process control: 在一些关键点(新数据产生、数据更新、数据被访问等)进行检查和控制
(2) process redesign: 从根源上消除产生低质量数据。

从长远来看，process-driven techniques要比data-driven tehchniques的效果好。

8. (S2.3) 介绍了最终要的六种quality dimension
(1) accuracy: DMQ中考虑的是syntactic accuracy.
(2) completeness: “the degree to which a given data collection includes data describing the corresponding set of real-world objects.”
    在关系数据库领域，null value与completeness比较相关。null的含义包括“不存在”、“存在但缺失”、“不知道是否存在”。
(3) consistency: 是否违法针对数据项集合定义的一套语义规则。在关系型理论中，存在两种inategrity constraints: intra-relation constraints（年龄必须在0-120岁之间），inter-relation constraints
(4) time-related dimensions: currency(当前性?), volatility(易变性) and timeliness(及时性)

9. (S2.4) cost of data quality由两部分组成：
(1) cost of the data quality program: 被认为是一种预防性的成本。
(2) cost associated with poor data quality: process costs(好比因为数据错误致使须要从新执行整个流程引发的成本), opportunity costs(“due to lost and missed revenues”)
要考虑这两部分红本的相互做用：将成本投入到前者有助于减低后者的成本。

10. (S2.5) 介绍了数据的三种类型： structured data,  semistructured data (好比XML), unstructrued data （data quality 领域主要针对前两种数据类型研究）

另外一种从制造品的角度对数据进行分类：raw data items、information products、component data items

11. (S2.6) 介绍了information systems的类型(根据系统对数据、流程和管理集成支持的程度来分类，集成的程度越低，能使用的技术就越复杂)
monolithic information system
data warehouse
distributed information system
cooperative information system
Web information system
peer-to-peer infomation system