初探：企业数据湖治理最佳实践！

数据湖正在成为一种愈来愈可行的解决方案，用于企业从大数据中提取价值，并表明早期大数据采用者合乎逻辑的下一步。这一律念是2011年提出来的，最初的数据湖是对数据仓库的一个补充，主要是为了解决数据仓库开发周期漫长，开发和维护成本较高，细节数据丢失等问题。数据湖大多相对于传统的基于RDBMS的数据仓库，在隔离的逻辑区域中提供结构化、非结构化和历史数据的灵活性，这已经和安全性一块儿为企业带来了一系列转型的可能。

然而，许多潜在用户没法理解可用数据湖的定义。一般，那些刚接触大数据的人，甚至是精通Hadoop的老手，都会尝试使用不一样的脚本、工具和第三方供应商来组建几个集群并拼凑在一块儿，这既不符合成本效益，也不可持续。本文，做者将描述数据湖与集群拼凑方式相比的优点是什么，集群如何规划和治理才能构建有效的数据湖。

区域

在数据湖中，区域容许数据的逻辑或物理分离，从而保护总体环境的安全性、有序性和敏捷性。一般，建议企业使用3或4个区域，但可使用更少或更多区域。通用的4区系统可能包括如下内容：

• Transient Zone(瞬态区域)——用于在获取以前短暂保存数据，例如临时副本，流式spool或其余短时间数据。

• Raw Zone(原始区域)——存放原始数据的区域，该区域敏感数据必须加密，标记化或以其余方式保护。

• Trusted Zone(受信任区域)——对原始区域中的数据执行数据质量、验证或其余处理后，它将成为此区域中下游系统的“真实数据来源”，也就是说其下游系统会从该区域获取数据。

• Refined Zone(再处理区)——操做和丰富的数据保存在此区域，这用于存储来自Hive或外部工具等的输出，这些工具将写入数据湖中。

这种区域划分能够根据须要适应企业的业务规模、成熟度和特殊用例，但将经过专用服务器或者集群实现物理隔离，经过故意构建目录和访问权限进行逻辑分离，或者二者进行特别组合。在视觉上，这种架构相似于下面的架构。

创建和维护定义明确的区域是建立健康湖泊的重要步骤。同时，了解哪些区域不提供灾难恢复或数据冗余策略也是很是重要的。尽管能够在DR中考虑该问题，但仍然须要投资可靠的底层基础架构以确保冗余和恢复能力。

Lineage

随着新数据源的不断添加以及现有数据源的更新或修改，维护数据集内部关系之间的记录变得更加剧要。这些关系就像重命名列同样简单，也可能像链接不一样源的多个表同样复杂，每一个表自己可能有多个上游转换。在此上下文中，lineage有助于提供跟踪性以了解字段或数据集的来源以及审计跟踪，并了解更改的位置、时间和缘由。听起来简单，可是当数据在湖中移动时捕获有关数据的细节很是困难，即便今天部署了一些专门的软件。跟踪的整个过程涉及事务级别(访问数据和作了什么?)以及结构或文件系统级别(数据集和字段之间的关系是什么?)等问题。数据湖中包括数据的批和流处理工具(例如MapReduce和Spark)，以及可能操纵数据的任何外部系统，例如RDBMS系统。lineage可填补传统系统的部分空白，特别是随着GDPR等新法规的出现——灵活性和可扩展性是将来管理的关键。

数据质量

在数据湖中，并不是全部数据都相同。所以，定义数据源以及管理和使用数据相当重要。经过清理来自各类物联网设备或社交媒体的数据，能够得到不少价值。企业还能够考虑在消费方而不是采购方应用数据质量检查。由于，单个数据质量体系结构可能不适用于全部类型的数据。必须注意的是，若是数据被“清理”，用于分析的结果可能会产生影响。修复数据集中值的字段级数据质量规则能够影响预测模型结果，由于这些修复能够影响异常值。经过比较“数据集的预期与接收大小”或“空值阈值”来衡量数据质量规则是否可用可能更适合此类状况。一般，所需验证的级别受传统限制或已经存在的内部流程影响，在设置新规则以前评估公司的现有流程是必须的。

隐私与安全

健康数据湖的关键组成部分是隐私和安全性，包括基于角色的访问控制、身份验证、受权以及静态和动态数据加密等。从纯数据湖和数据管理的角度来看，最重要的每每是数据混淆，包括标记化和数据屏蔽。应该使用这两个概念来帮助数据遵照最小特权的安全概念。限制数据访问也对许多但愿遵照法规的企业具备意义。限制访问有几种形式，最明显的是存储层中区域的大量使用。简而言之，能够配置存储层中的权限，使得以最原始格式访问数据很是有限。因为该数据随后经过标记化和掩蔽(即隐藏PII数据)进行转换，所以能够将对后续区域中的数据访问扩展到更大的用户组。

DLM

企业必须努力发展其数据管理战略，以更有效地保护和服务其数字资产。这涉及投入时间和资源来彻底建立生命周期管理策略，并肯定是使用扁平结构仍是利用分层保护。数据生命周期管理的前提是基于数据建立、使用和存档这一事实。现在，这个前提可能适用于某些交易数据。企业应该了解信息、数据和存储介质的相同点和差别，并可以最大限度地利用不一样存储层消除复杂性和成本并释放价值。

结论

就像处于初期阶段的关系数据库同样，近年来Hadoop的应用因缺少最佳实践而受到影响。企业在考虑将Hadoop用做数据湖时，须要参考尽量多的最佳实践。利用区域和适当的受权做为数据工做流框架的一部分，为数据转换提供高度可扩展的并行系统。

来自 “ ITPUB博客 ” ，连接：http://blog.itpub.net/31545817/viewspace-2215278/，如需转载，请注明出处，不然将追究法律责任。

转载于:http://blog.itpub.net/31545817/viewspace-2215278/