数据治理的十五个最佳实践

根据2019年的数据管理状况显示，数据治理是2019年全球组织机构的前5大战略计划之一。由于机器学习和人工智能（AI）等技术趋势依赖于数据质量，并且随着全球数字化转型进程的推进，技术趋势可能不会很快改变。

因此，我们希望提高对数据治理的认识，以帮助那些关心数据质量的人更多地了解数据治理如何影响当今的商业环境、利益相关者及公司目标。

我们开始着手在网上提供有关数据治理的最全面的免费资源；这也正是发表这篇文章的初衷。

 

数据治理是什么？

 

谷歌搜索“数据治理”，五秒内，你会淹没在解释中。当然，你可以挑选你最喜欢的解释。在Profisee，我们钟情于保持简单，所以用一句话解释数据治理就是：

数据治理是一套原则和实践，以保证数据在完整生命周期中的质量。

数据治理研究所（DGI）认为，它是一套切实可行的框架，帮助任何组织的各种数据利益相关方识别并满足其信息需求。

DGI认为，企业不仅需要管理数据的系统 还需要一套完整的规则体系，并通过流程和程序来确保这些规则都得到遵守。对任何治理系统来说，这都是一项艰巨的任务。Profisee平台这样的工具则可以使这项工作更加容易。这是一个好的开始。

 

为何如此

数据正在成为决定企业成功的核心企业资产。数字化转型在世界各地都被提上了日程。如果能够管理你的数据，就可以利用数据资产并成功进行数字化转型。这意味着必须部署适合组织发展、未来业务目标及业务模型的数据治理框架。该框架必须控制此过程中所需的数据标准，并在组织内部以及公司运营所在的业务生态系统中委派所需的角色和职责。

一个管理良好的数据治理框架将为组织内多个级别的数字平台上进行的业务，提供转型支撑：

• 管理：对于高层管理来说，这将确保对公司数据资产、价值及其在不断变化的业务运作和市场机会中的影响进行监督。

• 财务：对于财务而言，这将保证报告的一致性和准确性。

• 销售：对于销售和市场营销而言，这将赋能他们以可靠的方式洞悉客户的偏好和行为。

• 采购：对于采购和供应链管理而言，这将在利用数据和业务生态系统协作的基础上进一步降低成本并提高运营效率。

• 生产：对于生产而言，将是部署自动化的关键。

• 法律：对于法律和合规性的遵守而言，将是满足日益增长的法规要求的唯一途径。

 

带来的好处

如果能做到这一点，好处将是显而易见的。数据治理意味着更好、更精益、更干净的数据，即数据能被更好的分析，如果数据能被更好的分析，也就意味着更好的业务决策，更好的业务决策也就意味着更好的业务结果，更好的市场定位。在业务范围内的口碑，乃至声望。最后带来更好的利润率（大家都希望看到这样的结果）。

如果没有经过数据治理的数据，很有可能就会演变成所谓的GIGO，垃圾进来，垃圾出去（Garbage In，Garbage Out）。或者正如斯科特·泰勒所言，垃圾进，垃圾便无处不在（GIGE，Garbage In，Garbage Everywhere）。

 

目标

当然，定义很重要，但行动更重要。现在我们知道数据治理是什么了。我们可以用它做什么？

以下是几种可能性：

• 根据可信数据做出一致的、自信的商业决策，以满足企业内部使用数据资产的各种目的

• 通过记录数据资产的血缘关系以及与数据相关的访问控制，满足法规要求并避免罚款

• 通过建立数据所有权和相关职责，提高数据安全性

• 定义和验证数据分发策略，包括相关内外部实体的作用和责任

• 用数据来增加利润（大家都喜欢这一点）。数据货币化始于以最佳方式存储、维护、分类和访问数据。

• 分配数据质量职责，以衡量和跟进与企业内部总体绩效相关的数据质量KPI

• 更好地计划，不必为每个计划目的清理和构造数据

• 通过拥有可信的、标准化的并且能够满足多种目的的数据资产来消除重复工作

• 通过提供符合所需数据质量阈值的数据资产，优化员工效率

• 通过逐步提高数据治理成熟度来评估和改进

• 确认取得的成果并利用前进势头，以确保利益相关方的持续承诺和广泛的组织支持

 

以上只是列举一些可以用数据治理来处理的少数事情。底线是，我们要么想做这些事情以帮助自己成长，要么不得不做它们以满足监管的要求。无论出于何种原因，不做这些事情的最终结果都是相同的。如果使用错误的数据，便会做出错误的决定，且不法提前预知。到那时，为时已晚。

斯科特·泰勒（Scott Taylor），也被称为数据布道者。二十年来，他一直是MDM界的思想领袖，所以当他在二月份破坏我们的办公室聚会时，我们才明白，他是有意而为之。稍后你会听到更多关于他的故事。

 

OpenStreetMap简介

那么，数据治理到底是什么样的呢？将这些实践付诸实施的最具挑战性的实现之一便是开源项目，如Open Street Map。由英国企业家史蒂夫·科斯特（Steve Coast）于2004年创建，它是对封闭孤立的、专有的国际地理数据源激增的一种回应——当时有数十种绘图软件产品相互封闭发展，彼此之间的数据不能相互通信。

OSM使用志愿者贡献的数据，就像维基百科一样，让任何能连上互联网的人都可以使用它。自2008年以来，OSM已从50,000个注册用户和贡献者增长到200多万，所有的地图数据都是由这些志愿者整理并提交的。目前，Facebook、Foursquare和MapQuest都在使用OSM，当然，只是从数以千计的专业用户中列举了其中最大的三个。

简而言之：这件事行之有效是一个奇迹。有些贡献者是使用高科技GPS系统的专业制图师，有些只是周末骑行者，他们用手机对旅行地标进行三角测量并上传。但这确实有效，并且可以很好地成为许多财富500强公司，一些快速成长的新兴企业以及更多风行一时的创业公司值得信赖的数据源。也有许多人将OpenStreetMap直接用于个人业务。

当涉及到数据纯度时，我们非常乐观。理所当然的，我们认为这是一个奇迹。该模型只有在其背后的数据治理有效时才能发挥作用。这也正是Mr. Coast一直以来建立于单一启示性概念上的一个想法。 

 

数据是产品，不是地图                                                                              

就像你可能想象的那样，如英国人所言，没有一种方法用来标准化参与者数据的众包制图系统可能会变得很奇怪。然而，在此过程的早期建立数据标准并确保贡献者遵守这些标准是该平台持续成功的关键。

 

谁是参与者

数据治理将或多或少地涉及整个组织，先让我们分解一下最常见的利益相关者：

• 数据所有者：首先，需要在业务中指定数据所有者（或数据发起人）。必须是能够做出决定并能保证决定在整个组织中得到执行的人。数据所有者可以在实体级别中任命（例如：客户记录、产品记录、员工记录等），并在属性级别上补充（例如客户地址、客户状态、产品名称、产品分类等）。数据所有者最终要对作为资产的数据状态负责。

• 数据管理员：接下来，需要数据管理员（或数据拥护者），他们确保数据策略和数据标准在日常业务中能得到遵守。这些人通常是数据实体且/或一组数据属性的主题专家。数据管理者要么是负责将数据作为资产处理的负责人，要么是负责咨询指导如何处理数据的人。

• 数据保管人：此外，可以使用数据保管人（或数据运营商）对数据资产进行业务和技术入门、维护和报废的更新。

• 数据治理委员会：通常情况下，将设立一个数据治理委员会作为批准数据政策和数据标准并处理升级问题的主要论坛。根据组织的规模和结构，每个数据域都可能会有子论坛（例如客户、供应商、产品、员工）。

以上强调的这些角色应由数据治理办公室的数据治理团队有选择地支持。在典型企业中，以下是一些可能组成数据治理团队的人：

• 主数据治理经理：领导整个公司的主数据控制和治理的设计、实施和持续维护。

• 解决方案和数据治理架构师：提供对解决方案设计和实施的监督。

• 数据分析师：使用分析来确定趋势并查看信息。

• 数据策略师：开发并执行趋势模式分析计划 

• 合规专家：确保遵守必需的标准（法律、国防、医疗、隐私）

分配和履行角色最重要的工作之一是对角色/期望以及角色间的相互作用进行详细的描述。这通常将在RACI矩阵中进行概述，该矩阵描述数据由谁负责、由谁解释，以及对某种执行、处理过程或一种策略/标准的特定artifact提供咨询进行描述。

 

数据治理框架

 

数据治理框架是一组数据规则、组织角色的授权及过程，旨在让组织中的每个人在同一个数据认识界面上。

目前有许多数据治理框架。作为示例，我们将使用数据治理研究所的数据治理框架。这个框架有10个组成部分；下面将详细介绍：

图 1. DGI 数据治理框架 © 数据治理研究所

 

成长起来的孩子：成熟度模型

根据数据治理成熟度模型来衡量你的组织，对于让路线图的制定以及现状和未来状况的沟通，作为数据治理计划的一部分，并部署数据治理框架的上下文语境来说，非常有用。

分析公司Gartner的企业信息管理成熟度模型就是这种成熟度模型的一个示例：

图 2. © Gartner

 

大多数组织在开始数据治理计划之前，会发现自己处于这样一个模型的较低阶段。

• 第0阶段-无意识：这个时候可能是无意识阶段，通常意味着在组织中或多或少都会有自己关于数据管理如何能够实现更好的业务结果的想法。在此阶段，你可能对需要的东西有一个愿景，但需要专注于眼前的事情，比如说服业务和IT中合适的人围绕其认知度和小成果实现较小的目标。

• 第1阶段-有意识：在此阶段，意识到缺乏数据所有者和数据管理员，并认识到对政策和标准的需求，因此在这一阶段，有推出个性化数据治理框架的空间，以解决组织内明显的痛点。 

• 第2阶段和第3阶段-响应性和前瞻性：进入此阶段意味着可以建立一个更全面的数据治理框架，涵盖数据治理的所有方面和完整的组织结构，包括数据所有权和数据管理权，以及一个数据治理办公室/团队，与已实现和即将实现的业务成果保持同一战线。

• 第4阶段和第5阶段-管理和效率：通过此阶段，数据治理框架将成为开展业务的重要组成部分。

如果当前的数据治理策略和流程是指导手册，那么成熟度模型就是历史参考书。根据成熟度评估的历史数据汇编而成，成熟度模型将公司的绩效与既定时期内的既定目标和基准进行比较——例如一个季度、一年、甚至是五年。该模型展示了公司的历史去向，这也将有助于指导确定公司的未来方向。

然而“一刀切”的方法在成熟度模型中并不奏效，只有“灵活调整“的方法才能适用于大多数公司。搜索现有的模型，找到最接近的一个，然后不断调整以满足公司的需求。正所谓常用道：“换鞋容易换脚难”。

 

连接主数据管理（MDM）

数据治理是一种战略方法。MDM是战术执行。

“所有企业系统（营销，销售，财务，运营）都需要主数据管理，”Scott在我们的Profisee 2019启动会议中说道。对于任何规模的企业、任何行业、在数据旅程中的任何时刻，数据治理都无处不在地体现其好处。

Scott认为，“主数据是最重要的数据，因为它是负责的数据。它是关于“业务行为名词” –业务的基本要素。无论从事什么业务，客户、合作伙伴、产品、服务，都是主数据紧密关联的地方。即使有最好的数据治理计划，管理良好的不良数据也依然是不良数据。不会对业务有任何帮助。

“无论意识与否，每个人都在从事数据业务。我们接触的一切都变成了数据。商业正在从模拟转变为数字。无论你产品是什么，数据都是你的产品。业务因数据而改变，而数据就是力量。而使用正确的工具，可以立即利用这种力量。”

 

数据保护和数据隐私

随着数据保护和数据隐私的认识不断提高，如《欧洲联盟通用数据保护条例（GDPR）》就是对数据治理产生的巨大影响的体现。

至少在处理诸如雇员数据、客户数据、供应商数据和其他方主数据等数据域时，必须将作为默认数据保护和默认数据隐私的条款纳入到数据政策和数据标准中。

作为数据控制器，必须对数据的存储位置、谁在更新数据以及谁在访问数据以达到什么目的有个全面的监控。你必须知道何时处理个人身份信息，且是在生产环境以及测试和开发环境中为给定地理区域中的合法目的而进行的身份信息的处理。

在法规时代，良好地执行删除数据的规则也是必须的。

 

 最佳实践

 

一方面，你可以从其他从事数据治理过程中进行学习。但是，每个组织都是不同的，你需要从无意识的成熟阶段到有效的成熟阶段中，一路调整数据治理实践。

 

本文列举了15个通用的最佳做法：

1. 从小处开始。在商业的方方面面，不要眼高手低。力争快速获胜，并随着时间的推移建立雄心。

2. 设定清晰、可衡量且具体的目标。你无法控制无法测量的内容。达到目标时去庆祝，并以此来赢得下一个胜利。

3. 定义所有权。没有企业所有权，数据治理框架就无法成功。

4. 确定相关角色和职责。数据治理是一个团队合作，其中包含来自业务各个部门的交付成果。

5. 教育利益相关者。尽可能使用业务术语，并将数据治理学科的学术部分转换为业务上下文中有意义的内容。 

6. 专注于运营模式。数据治理框架必须集成到企业中开展业务的方式中。

7. 地图基础架构、体系结构和工具。你的数据治理框架必须是企业体系结构、IT环境和所需工具的合理组成部分。

8. 制定标准化的数据定义。必须分清什么需要集中管理，哪些需要敏捷化及本地化管理，并在两者之间取得平衡。

9. 识别数据域。从数据域开始，在产生的影响和付出的行动之间获得最佳比率，以提高数据治理的成熟度。

10. 识别关键数据元素。聚焦最关键的数据元素。

11. 定义控制度量。将这些部署在最有意义的业务流程、IT应用程序和/或报告中。

12. 建立商业案例。确定与增长、节省成本、风险和合规性有关的数据治理成熟度不断提高的优势。

13. 利用指标。聚焦于企业通用绩效相关的有限的数据质量KPI。

14. 经常交流。数据治理实践者认为，交流是该学科最关键的部分。

15. 这是一种实践，而不是项目。