SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

简介： MaxCompute做为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级，本文将针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景，结合数据生命周期，为您介绍基 于MaxCompute 和 DataWorks 原生集成安全能力的最佳实践。

什么是 MaxCompute?

MaxCompute 是一款云原生、高效能的SaaS模式企业级数据仓库服务，被普遍用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。

MaxCompute 构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。

MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，用户可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。

MaxCompute 企业级安全能力升级

MaxCompute 近期对产品的安全能力进行了全面升级。 发布的安全能力有：

· 细粒度受权
· 数据加密 (BYOK)
· 数据脱敏（数据保护伞）
· 持续备份恢复
· 跨地域的容灾备份
· 实时审计日志

MaxCompute 安全体系

对于一个企业级的大数据平台，要应对的安全风险，有三个层次（如图-1）：
1.基础安全与可信平台，保障数据中心的物理安全与网络安全，主要包括数据中心保障设施、数据中心安全管控、数据中心的网络安全等几个维度的建设。
2.大数据平台的系统安全，主要由访问控制、安全隔离、风控审计、以及数据保护等子系统构成，为上层安全应用或工具提供平台能力基础。
3.数据应用的安全，为用户提供工具化的数据安全产品，优化用户体验，帮助用户更好应对各种数据风险。

（图-1：大数据平台安全体系）

近期的MaxCompute安全能力升级，主要新功能覆盖了访问控制、风控审计、以及数据保护几个子系统，如图-1中“大数据平台安全”层中，黄色高亮字体部分。本文中，咱们将针对几类主要的数据风险（如图-2），介绍这些数据风险应对的最佳实践。在最佳实践中，将会穿插介绍什么时候使用、为何使用、如何使用这些新功能。

（图-2：主要数据风险）

如何应对数据误用

数据误用是因为非故意的、过失性动做致使的，防止误用通常指防止数据被不经意间错误使用。应对数据误用的风险，防止数据误用，核心的一点，就是了解数据，可以回答这些问题：我有什么数据，这些数据在哪里，这些数据是怎么来的、又被如何使用，等一系列问题。

1. MaxCompute 提供基础元数据信息

MaxCompute 能够帮助用户很好的回答这些问题。 MaxCompute 平台构建了统一的元数据管理，基于统一元数据和完备的平台日志，向用户提供元数据和相关日志数据。 用户能够基于 MaxCompute 的 Information Schema，构建本身的数据管理应用。

2. 使用数据地图做为数据管理工具

大多数用户更但愿经过现有的数据管理应用或服务，来了解本身的数据：“DataWorks-数据地图”就是这样的应用。 数据总览、数据明细等信息能帮助用户了解本身有哪些数据以及数据的明细信息；产出和使用信息、血缘信息，则能帮助用户了解数据的前因后果，帮助用户正确、合理的使用数据。 使正确的数据，被正确的使用在正确的场景下。

（图-3：使用数据地图了解数据）

如何应对数据滥用

数据滥用指的是对数据的使用超出了其预先约定的场景或目的，数据滥用通常是靠故意的、带有目的性的动做完成的。而应对数据滥用，最主要的应对是对数据使用作最小化受权，严格限制数据的被访问、使用的范围。权限管理的最佳实践，推荐图-5中的4大过程：

• 数据分级管理：基于 MaxCompute 的 LabelSecurity 对数据作分类分级管理。
• 受权审批流程：基于 MaxCompute 的 列级别权限管控能力， 对数据的访问使用需求，作最小化受权。
• 按期审计：对权限的申请、审批、使用状况进行分析，作到事前有审批，过后有审计。
• 及时清理：及时清理过时权限，减小数据风险。

能够依托 MaxCompute 的细粒度权限体系，使用 Dataworks 等白屏化工具，来实现最小化受权的最佳实践，应对数据滥用的风险。

1. (New) MaxCompute 细粒度权限体系提供精细化的权限管理能力

MaxCompute支持不一样的受权机制来完成对用户或角色的受权，包括：
• 自主访问控制机制 (DAC, Discretionary Access Control): ACL
• 强制访问控制机制 (MAC, Mandatory Access Control)：LabelSecurity(标签安全策略)
• 基于角色的访问控制机制 (RBAC, Role based Access Control): 角色管理

不管是哪一种访问控制机制，受权鉴权过程当中的三个要素是相同的：Action，Object，以及Subject，以下图。

在这次的MaxCompute 安全能力发布中，也包括权限模型的升级，支持更细粒度的受权鉴权，提供精细化的权限管理能力。 主要新功能有：

• ACL 支持列级别权限管理，增长Condition支持，增长受权有效期支持；
• 细粒度 Package 内资源权限管控，对 Package 内的资源能够支持到列级别的权限管控；
• 增长独立的 Download 数据下载权限管理，对更高风险的数据批量下载场景作独立权限管控；
• 管理类权限支持分级受权管理，内置 super administrator 角色来分解project owner 管理负担；
• 完善 RBAC，LabelSecurity 增长对 Role 的支持；
• 加强对应用端的权限管理能力。

（图-4：MaxCompute 细粒度权限体系）

（橙色高亮字体为这次细粒度权限能力发布）

2.使用安全中心进行白屏化权限管理

MaxCompute 的细粒度权限体系提供了的实现最小化受权的平台能力，结合一些白屏化工具，如“DataWorks-安全中心”，则能够提供更好的用户体验，让用户更方便的实现权限管理。

（图-5：使用安全中心作白屏化权限管理）

安全中心提供便捷的权限管控功能和可视化的申请、审批流程，也能够进行权限的审计和管理：

• 权限自助申请：选择所需权限的数据表/字段，在线上快速发起申请。
• 权限审计及交还：管理员能够查看数据权限的对应人员，进行审计管理，用户也能够主动交还再也不须要的权限。
• 权限审批管理：在线审批受权模式，提供可视化、流程化的管理受权机制，并能够对审批流程进行过后追溯。

如何应对数据泄露

1.数据生命周期

（图-6：数据生命周期）

数据泄露可能发生在数据生命周期的多个阶段，如数据传输、数据存储、数据处理、数据交换等阶段。所以，咱们将结合数据生命周期的不一样阶段来介绍应对数据泄露的最佳实践。

首先，数据从不一样的渠道被采集，通过各种传输通道，进入大数据平台。 在大数据平台中，通过计算后落盘存储；数据也会经过数据分享机制，在不一样的租户、业务之间流转；通过必定周期后，一些数据也会被删除销毁。通过处理后的数据，则会经过不一样的传输通道，被其余数据应用、或者用户消费。 (如图-7）。

（图-7：大数据平台中的数据生命周期）

2.(New) 应对数据存储过程当中的数据泄露风险 - 使用数据加密（存储加密）功能

咱们首先看一下如何应对数据存储过程当中的数据泄露风险：如磁盘数据被直接访问，磁盘被获取，等风险。应对此类状况的措施，是对磁盘数据进行加密，这样即便数据被恶意获取，加密后的数据也没法被解读使用。
这次安全能力升级中， MaxCompute 发布了存储加密功能，支持用户数据的落盘加密：

• MaxCompute接入秘钥管理系统KMS以保障秘钥的安全性，支持服务秘钥和用户自选秘钥(BYOK)。
• 用户能够在建立MaxCompute项目时，配置选择打开存储加密功能(存量用户能够经过工单申请开通)。
• 支持加密算法：AES256，国密算法，等。
• .数据加密后对用户使用保持透明，各类类型的任务不需额外改变。

3.应对数据数据处理过程当中的数据泄露风险 - MaxCompute 安全隔离能力

在数据处理过程当中，应对数据泄露的风险则主要在于大数据平台的安全隔离能力。
MaxCompute 提供独立的隔离环境用于执行数据处理应用，能够支持完整的UDF种类，支持 Java和Python UDF, 还支持执行如Spark、Flink、Tensorflow 等开源三方计算引擎，提供了多元化的数据处理能力。

（图-8：MaxCompute 安全隔离能力）

4.应对数据交换(共享)过程当中的数据泄露风险 - MaxCompute数据隔离与权限体系

在数据交换、或者说数据共享过程当中，则须要完善的数据隔离能力与权限管理体系来保障数据安全、防范数据泄露风险。MaxCompute 提供不一样层级和维度上的数据隔离与权限管理机制，以支持多层次的数据保护和数据共享场景。

• 多租户的数据安全隔离：MaxCompute 支持多租户的使用场景，针对不一样的用户数据进行数据存储隔离，用户数据被离散存储在分布式文件系统中，知足多用户协同、共享、和安全的须要，作到真正的多租户资源隔离。

• 租户内的业务(Project)数据隔离与共享：同一租户下，不一样业务（Project）之间的数据隔离、以及必定程度上的数据共享是很是常见的场景。基于ProjectProtection 保护机制能够实现 Project之间的数据隔离与保护，二Package则能让用户更方便同时也更安全的实现跨Project的数据和资源分享。如前文“MaxCompute 细粒度权限体系提供精细化的权限管理能力”介绍，这次安全能力升级增长了对Package的数据和资源作细粒度的权限管理，加强了Package的数据共享和保护能力。

• (New) 应用端数据访问控制：经过对访问MaxCompute的的应用增长签名机制，加强了对应用端访问控制的管理能力。 例如，只容许特定的应用能够进行受权语句的操做，以免用户经过接口或不合规的应用进行非法数据受权操做。

（图-9：MaxCompute 数据隔离能力）

5.(New) 数据生命周期中的敏感数据保护

应对数据泄露风险中的一个重要主题是敏感数据保护，前文所述在存储、处理、和交换过程当中的风险应对实践，对敏感数据保护一样适用。 此外，还有一些针对敏感数据保护这一特定场景的最佳实践：

• 数据分类分级：使用 MaxCompute 的 LabelSecurity 功能，对数据作安全性的分类分级，对不一样类别不一样安全等级的数据访问和使用，进行精细化的权限管理。

• （New) 数据脱敏：基于安全行业的脱敏实现或应用，结合 MaxCompute 的平台 UDF 能力，实现不一样客户端数据输出时的敏感数据脱敏。脱敏实现也能够与数据分类分级结合使用，对不一样分类分级的数据作不一样的脱敏实现。

（图-10：敏感数据保护）

（New）用数据保护伞做为敏感数据保护工具

数据保护伞，是基于 MaxCompute 平台的数据分类分级能力和接入脱敏应用能力、构建的敏感数据保护工具。用户可使用数据保护伞对敏感数据进行标识，选择脱敏算法，在数据屏显输出时进行脱敏。
更多产品说明和使用介绍，详见《数据保护伞》用户文档。

（图-11：敏感数据保护工具 - 数据保护伞）

如何应对数据丢失

除了恶意的数据泄露、数据滥用等风险，数据开发过程当中的各类误操做，偶发的设备或机房故障，甚或是罕见的灾害意外状况，都能形成数据丢失的后果。 应对数据丢失风险的最佳实践，主要有备份恢复，以及容灾能力。

1.(New) MaxCompute 备份与恢复

数据开发过程当中，避免不了会有误操做删除数据(如Drop/Truncate Table)后须要恢复，或使用“insert into”、“insertoverwrite”语法执行后发现数据有问题须要恢复以前版本。

MaxCompute 近期发布了持续的备份与恢复能力，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留必定时间，您能够对保留周期内的数据进行快速恢复，避免因误操做丢失数据。

（图-12：MaxCompute 持续备份与恢复能力）

2.(New) MaxCompute 异地容灾

MaxCompute 的异地容灾能力，更好的提供了在机房故障或意外灾害等极端场景下的数据安全保障。
在为 MaxCompute 项目指定备份位置到备份集群后，MaxCompute 自动实现主集群与备份集群的数据复制，达到主集群与被集群数据的一致，实现异地数据容灾。当发生故障，MaxCompute 项目从主集群切换到备份集群后，使用备份集群的计算资源访问备份集群的数据，完成服务的切换和恢复。

（图-13：MaxCompute 异地容灾）

善用审计，应对各种数据风险

至此，咱们已经介绍了在数据开发和使用过程当中，应对各种数据风险的实践。咱们把很是重要的、适用于各种数据风险应对的一个实践，放在最后介绍：善用日志，构建预警和审计能力。

MaxCompute 提供了完善的历史数据和实时日志：

• Information Schema：提供了项目元数据及使用历史数据等信息。PRIVILEGES 和 HISTORY 类的视图，能够帮助用户对数据权限使用、任务执行等维度作分析审计。

• (New) 实时审计日志功能：MaxCompute 完整记录了用户的各项操做行为，如DDL、受权、任务执行等各种事件，知足实时审计、问题回溯分析等需求。

基于 Information Schema 和 实时审计日志，用户能够构建本身的数据风控和审计体系。Information Schema 去年就已上线，下文将主要介绍新发布的实时审计日志。

固然，并非全部的用户都计划本身构建风控和审计工具，这种状况下，能够直接使用 Dataworks 中的已有产品，进行风控和审计。优势是无需用户二次开发、开箱即用，缺点则是定制的弹性较小。

1.(New) 实时审计日志

敏感数据是否被过分使用？数据访问权限是否被过分授予？是否有异常如计划外高频的数据访问？在数据安全保障中，管理者经常须要回答这些问题。 MaxCompute 审计日志能够帮助回答这些问题。

MaxCompute完整地记录用户的各项操做行为，并经过阿里云ActionTrail服务将用户行为日志实时推送给ActionTrail。用户能够在ActionTrail中查看和检索用户行为日志，同时经过ActrionTrail将日志投递到日志服务项目或指定的OSS Bucket中，知足实时审计、问题回溯分析等需求。

ActionTrail针对做业（Instance）、表（Table）、函数（Function）、资源（Resource）、用户（User）、角色（Role）和受权（Privilege）等事件的多种操做行为进行审计，详细功能说明和使用介绍，详见《审计日志》用户文档。

（图-14：MaxCompute 审计日志）

2.使用 DataWorks 中的审计工具

用户也可使用 Dataworks 的已有产品，进行数据安全的风控和审计：

• 在前文中介绍的安全中心，能够提供权限的审计。
• 数据保护伞也提供了风控和审计能力，如图-15。

（图-15：使用数据保护伞作风控和审计）

小结

小结的同时呼应开篇，咱们再次来看企业级大数据平台三个层次的数据安全保障体系。 此次咱们把 MaxCompute 的安全能力按数据生命周期的6个阶段来从新组织，如图-16。帮助你们更好理解，在不一样的数据生命阶段，应该采用哪些实践来实施安全保障。图-16中的黄色高亮部分，则标识了这次 MaxCompute 安全能力升级中的新功能。

（图-16：基于大数据平台构建数据什么周期的安全保障）

做为 SaaS 模式下的云数据仓库，MaxCompute 具有领先的安全能力，也经过了国际、欧洲、国内的多项安全合规认证，如国际主流认证ISO系列、SOC1/2/三、PCI，欧洲主流认证C5，国内主流认证安全等级保护2.0，等。 阿里云总体的安全合规认证，详见《阿里云信任中心-合规认证》页面。 欢迎你们使用 MaxCompute，构建企业级的大数据安全。

发布会传送门

查看产品详情