google cloud storage products

时间  2020-07-09
标签 google cloud storage products 栏目 Google 繁體版
原文   原文链接

https://cloud.google.com/products/storage/html

 

BigTable

Cloud Bigtable 是 Google 面向大数据领域的 NoSQL 数据库服务。它也是为 Google 搜索、Analytics（分析）、地图和 Gmail 等众多核心 Google 服务提供支撑的数据库。linux

https://cloud.google.com/bigtable/docs/?_ga=2.253537231.-792515609.1538018833sql

Cloud Bigtable 是稀疏填充的表，能够扩展到数十亿行和数千列，可以让您存储 TB 级甚至是 PB 级的数据。每行中都会有一个被编入索引的值；这个值称为行键。Cloud Bigtable 很是适合以很是低的延迟存储大量单键数据。它能够低延迟支持高读写吞吐量，是 MapReduce 操做的理想数据源。数据库

适合的场景

若是应用须要很是高的吞吐量和可扩展性来处理非结构化键/值数据，而数据中的每一个值一般不超过 10 MB，使用 Cloud Bigtable 很是适合。Cloud Bigtable 还很是适合做为批量 MapReduce 操做、流处理/分析和机器学习应用的存储引擎。api

 

Datastore

Firestore

  • 用户生成的内容
  • 经过移动网络上传的内容

Cloud Firestore 是一种灵活且可扩展的数据库，适用于在 Firebase 和 Google Cloud Platform 上进行移动、网页和服务器开发。与 Firebase 实时数据库同样，它能够经过实时侦听器使您的数据在各个客户端应用之间保持同步，并为移动和网页应用提供离线支持，以帮助您构建不管网络延迟时间或互联网链接情况如何都能快速响应的应用。Cloud Firestore 还提供与其余 Firebase 和 Google Cloud Platform 产品（包括 Cloud Functions）的无缝集成。浏览器

 

永久性磁盘（块存储）

  • 虚拟机磁盘
  • 在多个虚拟机之间共享只读数据
  • 为运行中的虚拟机快速建立耐久备份
  • 数据库的本地存储空间

https://cloud.google.com/persistent-disk/安全

Google 永久性磁盘是适用于 Google Cloud Platform 的一种耐用的高性能块存储服务。永久性磁盘提供 SSD 和 HDD 存储空间，二者均可以关联到 Google Compute Engine 或 Google Kubernetes Engine 中运行的实例。存储卷能够透明地调整大小、快速备份，并支持多个读取器同时读取。服务器

regional persistent disk

regional persistent disks provide durable storage and replication of data between two zones in the same region.网络

If you are designing robust systems on Compute Engine, consider using regional persistent disks to maintain high availability for resources across multiple zones. Regional persistent disks provide synchronous replication for workloads that might not have application-level replication.架构

Regional persistent disks are designed for workloads that require redundancy across multiple zones with failover capabilities. 

A write is acknowledged back to a VM only when it is durably persisted in both replicas. If one of the replicas is unavailable, Compute Engine only writes to the healthy replica. When the unhealthy replica is back up (as detected by Compute Engine), then it is transparently brought in sync with the healthy replica and the fully synchronous mode of operation resumes. This operation is transparent to a VM.

In the rare event both replicas become unavailable at the same time, or the healthy replica becomes unavailable while another one is being brought into sync, the corresponding disk becomes unavailable.

Google Compute Engine支持的存储类型对比

 



 地区标准
永久性磁盘		 区域
永久性
磁盘		 地区 SSD
永久性磁盘		 区域
SSD 永久性
磁盘		 本地 SSD Cloud Storage 存储分区
存储类型 高效可靠的块存储 在区域中两个地区间进行同步复制的高效可靠的块存储 快速、可靠的块存储 在区域中两个地区间进行同步复制的快速可靠的块存储 高性能本地块存储 经济实惠的对象存储 
每一个实例的最大空间 64 TB 64 TB 64 TB 64 TB 3 TB 几乎无限 
访问范围 地区 地区 地区 地区 实例 全球 
数据冗余 地区 多地区 地区 多地区 无 区域或多区域 
静态加密 有 是 是 是 是 有 
自定义加密密钥 有 是 是 是 否 有 
支持的机器类型 全部机器类型 全部机器类型 全部机器类型 全部机器类型 大多数机器类型 全部机器类型 

 

 块存储性能指标

 



 地区标准
永久性磁盘		 区域
永久性
磁盘		 地区
SSD 永久性磁盘		 区域
SSD 永久性
磁盘		 本地 SSD (SCSI) 本地 SSD (NVMe)
最大持续 IOPS
读取 IOPS/GB 0.75 0.75 30 30 266.7 453.3
写入 IOPS/GB） 1.5 1.5 30 30 186.7 240
读取 IOPS/实例 3000 3000 15,000 - 60,000* 15,000 - 60,000* 400,000 680,000
写入 IOPS/实例 15000 15000 15,000 - 30,000* 15,000 - 30,000* 280,000 360,000
最大持续吞吐量 (MB/s)
读取吞吐量/GB 0.12 0.12 0.48 0.48 1.04 1.77
写入吞吐量/GB 0.12 0.12 0.48 0.48 0.73 0.94
读取吞吐量/实例 180 180 240 - 1200* 240 - 1200* 1,560 2,650
写入吞吐量/实例 120 120 240 - 400* 120 - 200* 1,090 1,400

Storage(对象存储)

  • 流式视频
  • 图片与 Web 资源库
  • 数据湖
  • 备份
  • 媒体内容归档
  • 长尾内容
  • 遵照法规要求

https://cloud.google.com/storage/docs/

特性

特性 内容
加密

Cloud Storage 在将数据写入磁盘以前，始终会在服务器端对您的数据进行加密，无需额外费用。除了此标准行为外，您在使用 Cloud Storage 时，还可使用其余方法加密数据。如下内容总结了您可使用的加密选项：

  • 服务器端加密：在 Cloud Storage 接收数据以后、在将数据写入磁盘并存储以前执行的加密。

    • 客户提供的加密密钥：您能够为服务器端加密功能建立和管理您本身的加密密钥，这些密钥充当标准 Cloud Storage 加密基础之上的额外加密层。

    • 客户管理的加密密钥：您可使用 Cloud Key Management Service 生成和管理加密密钥，这些密钥充当标准 Cloud Storage 加密基础之上的额外加密层。

  • 客户端加密：在将数据发送到 Cloud Storage 以前执行的加密。此类数据在到达 Cloud Storage 时已进行加密，但一样会进行服务器端加密。
 

对象元数据

 元数据用于标识对象的属性，并指定了访问对象时应如何处理对象。元数据以键值对的形式存在。

元数据的可变性各不相同：有些元数据您随时能够修改，有些元数据您只能在建立对象时设置，有些元数据您只能查看。

 
 

Cloud Pub/Sub Notifications for Cloud Storage

  Cloud Pub/Sub Notifications 将存储分区中对象的相关更改信息发送到 Cloud Pub/Sub（随后，信息以消息的形式添加到您选择的 Cloud Pub/Sub 主题中）。例如，您能够跟踪存储分区中建立和删除的对象。每一个通知都包含相应的信息，这些信息说明了触发通知的事件以及发生更改的对象。
 

对象版本控制

  

为了支持检索已删除或覆盖的对象，Cloud Storage 提供了对象版本控制功能。本页面介绍了此功能以及使用此功能时可用的选项。要了解如何启用和使用对象版本控制，请参阅使用对象版本控制。

启用对象版本控制可防止 Cloud Storage 的数据被覆盖或意外删除。启用对象版本控制会增长存储费用，能够经过配置对象生命周期管理删除旧对象版本，以在必定程度上缓解存储费用增长。
生命周期管理配置   

您能够将生命周期管理配置分配给存储分区。该配置包含一组适用于存储分区中的当前和将来对象的规则。当对象知足其中一个规则的条件时，Cloud Storage 会自动对该对象执行指定的操做。如下是一些示例用例：

  • 将超过 365 天的对象的存储类别降级为 Coldline 存储空间。
  • 删除 2013 年 1 月 1 日以前建立的对象。
  • 在启用版本控制的存储分区中仅保留每一个对象的 3 个最新版本。
 请求者付款  

每次用户访问存储分区或对象等 Cloud Storage 资源时，都会产生与发出和执行请求关联的费用。此类费用包括：

一般，资源的项目全部者需支付这些访问费用；可是，若是请求者随其请求一块儿提供结算项目，则会针对请求者的项目进行计费。在您的存储分区上启用“请求者付款”功能后，您能够要求请求者在其请求中包含一个结算项目，从而对请求者的项目进行计费。在某些状况下，启用请求者付款功能可以为您带来便利；例如，您想要向用户提供大量数据，但您不但愿承担他们访问这些数据所产生的费用，在这种状况下，建议您启用此功能。
 存储分区锁定功能  

您能够在建立新存储分区时包含保留政策，也能够将保留政策添加到现有存储分区。为存储分区设置保留政策可确保在达到保留政策所定义的保留期限以前，不能删除或覆盖存储分区中的全部当前和将来的对象。尝试删除或覆盖还没有到达保留期限的对象会致使失败，并返回 403 - retentionPolicyNotMet 错误。

例如，假设在存储分区有两个对象：对象 A 是一个月前添加的，对象 B 是两年前添加的。若是您向该存储分区应用保留期限为 1 年的保留政策，则没法在未来 11 个月内删除或覆盖对象 A：它当前的存在时间是 1 个月，必须至少达到 1 年才能被删除或覆盖。而对象 B 能够被当即删除或覆盖，由于其存在时间超过了保留期限。若是您决定覆盖对象 B，则此新版本的对象 B 的存在时间将从 0 年开始从新计算。

为了帮助您跟踪单个对象什么时候能够被删除，具备保留政策的存储分区中的每一个对象都具备保留失效时间的元数据。此元数据显示对象达到保留期限的日期和时间。

保留期限以秒为单位。但为了方便，某些工具（如 Google Cloud Platform Console 和 gsutil）也容许您使用其余时间单位设置和查看保留期限。

该功能适用于医疗或金融等，有存档时限审计要求的存储内容。
 

对 gzip 压缩文件进行转码

  在 Cloud Storage 中，转码是指系统在将文件传送给请求者以前自动更改文件的压缩状态。若是转码生成的文件是 gzip 压缩文件，则可视为压缩式转码，而若是生成的文件已再也不是 gzip 压缩文件，则可视为解压缩式转码。Cloud Storage 支持解压缩形式的转码。

跨源资源共享 (CORS)

同源政策是在客户端网络应用（好比网络浏览器）上实施的安全策略，用于防止来自不一样来源的资源之间发生交互。虽然这种安全措施可用于防止恶意行为，但也可能会阻止已知来源之间开展的合法交互。例如，App Engine 上托管的页面（网址为 example.appspot.com）中的脚本可能须要使用存储在 Cloud Storage 存储分区（网址为 example.storage.googleapis.com）中的资源。可是，因为浏览器会将它们视为两个不一样的来源，所以不容许来自 example.appspot.com 的脚本从 example.storage.googleapis.com 提取资源。

跨源资源共享 (CORS) 规范是由万维网联盟 (W3C) 制定的，该规范旨在克服这一限制。Cloud Storage 支持此规范，这意味着，它容许您将存储分区配置为支持 CORS。在上述示例中，您能够配置 example.storage.googleapis.com 存储分区，以便浏览器能够与来自 example.appspot.com 的脚本共享该存储分区的资源。

 

Filestore

  • 主目录
  • 渲染和媒体处理
  • 应用迁移

https://cloud.google.com/filestore/docs/

特性

特性 描述
访问控制

Cloud Filestore 不支持 Kerberos，以保护对 Cloud Filestore 实例的访问。请改用下面描述的 Linux 和 Cloud Identity and Access Management (IAM) 选项。

Cloud Filestore 文件共享具备固定 /etc/exports 设置。（与nfsd的设置彻底一致）

IAM 权限只能控制对 Cloud Filestore 操做（例如建立 Cloud Filestore 实例）的访问权限。Linux 权限则决定对 Cloud Filestore 文件共享上的操做（如读取或执行）的访问权限。
网络

定 VPC 网络中的全部内部 IP 地址均可以链接到 Cloud Filestore 实例。

若是您使用的是除默认网络之外的 VPC 网络，则可能须要建立防火墙规则，以启用与 Cloud Filestore 实例的通讯。
可靠性

Cloud Filestore 内置地区级（同城）存储冗余功能，可保护您的数据免受设备故障的影响，并确保数据在数据中心维护期间的可用性。

Cloud Filestore 实例位于区域内的各个地区中。区域是指您能够在其中运行资源的特定地理位置。每一个区域都被划分为几个地区。例如，美国中部的 us-central1 区域包含 us-central1-a、us-central1-b、us-central1-c 和 us-central1-f 地区。
可用性与恢复 若是发生须要 GCP 重启 Cloud Filestore 实例的可恢复错误，该实例应在两分钟内再次可用。若是 Cloud Filestore 实例所在的地区处于关闭状态，则该实例不可用
支持协议 Cloud Filestore 在 Cloud Filestore 实例上使用 NFSv3，并支持任何与 NFSv3 兼容的客户端。

性能指标

 

 



 标准 高级
最大读取吞吐量 100 MB/秒 (1 TB)、180 MB/秒（10 TB 以上） 1.2 GB/秒
最大写入吞吐量 100 MB/秒 (1 TB)、120 MB/秒（10 TB 以上） 350 MB/秒
最大 IOPS 5000 60000
每一个共享的最大容量 63.9 TB 63.9 TB
客户实现的典型可用性 99.9% 99.9%
协议 NFSv3 NFSv3

 

层级 大小 (TB) 读取 (Tput) 读取 (IOPS) 写入 (Tput) 写入 (IOPS)
标准 1 100 MB/秒 600 100 MB/秒 1000
标准 10+ 180 MB/秒 1000 120 MB/秒 5000
优质 2.5+ 1.2 GB/秒 60000 350 MB/秒 25000

性能测试指令

如下示例对最大写入吞吐量执行基准化分析：

  
fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=seqwrite --rw=write \
--bs=1m --size=20G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=1 \
--directory=/mnt/gcfs --loops=10

如下示例对最大写入 IOPS 执行基准化分析：

  
fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=randwrite --rw=randwrite \
--bs=4K --size=1G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=80 \
--sync=1 --directory=/mnt/standard --loops=10

如下示例对最大读取吞吐量执行基准化分析：

  
fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=seqread --rw=read \
--bs=1m --size=240G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=1 \
--directory=/mnt/ssd --invalidate=1 --loops=10

如下示例对最大读取 IOPS 执行基准化分析：

fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=randread --rw=randread \
--bs=4K --size=1G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=20 \
--sync=1 --invalidate=1 --directory=/mnt/standard  --loops=10

 

ARCHIVAL CLOUD STORAGE：NEARLINE 和 COLDLINE

用于备份、归档和灾难恢复的存储解决方案，可用性高、经济实惠

 

SQL

Cloud SQL 实例是全托管式 MySQL 和 PostgreSQL 关系型数据库。Google 负责处理数据复制、补丁管理和数据库管理等工做，以确保可用性和性能。 了解详情

要开始使用 Cloud SQL，您能够建立一个新实例，也可使用 Cloud SQL 将您的 SQL 数据库迁移至 Google Cloud。

Spanner

Cloud Spanner 是一项彻底托管的关系型数据库服务，可提供全球范围的事务一致性和高可用性。要使用 Cloud Spanner，请在项目中建立 Cloud Spanner 实例，而后设置开发环境以访问 Cloud Spanner 并添加数据

https://cloud.google.com/spanner/?hl=zh_CN&_ga=2.13410417.-792515609.1538018833

 



 CLOUD SPANNER 传统的关系型数据库 传统的非关系型数据库
架构 done是 done是 clear否
SQL done是 done是 clear否
一致性 done强 done强 clear最终
可用性 done高 clear故障转移 done高
扩容 done横向 clear纵向 done横向
复制 done自动 autorenew可配置 autorenew可配置

 Memorystore

Cloud Memorystore for Redis 提供彻底托管的内存存储区，不只具备高可用性和无缝容量调节功能，还与开源协议兼容。

使用 Cloud Memorystore for Redis 能够轻松部署、管理和监控内存存储区。

https://cloud.google.com/memorystore/

 

Data Fusion

Fully managed, Cloud native, enterprise data integration service

Cloud Data Fusion is a fully-managed, cloud native, enterprise data integration service for quickly building and managing data pipelines. It provides a graphical interface to increase time efficiency and reduce complexity, and allows business users, developers, and data scientists to easily and reliably build scalable data integration solutions to cleanse, prepare, blend, transfer and transform data without having to wrestle with infrastructure.

https://cloud.google.com/data-fusion/docs/?hl=zh_CN&_ga=2.21229309.-792515609.1538018833

 

NetApp Cloud Volumes 

NetApp Cloud Volumes for Google Cloud Platform is a simple to consume, fully-managed cloud-native file storage service that delivers unprecedented performance to your cloud application and development environments. Cloud Volumes offers advanced data management capabilities including on-demand and scheduled Snapshots and creating new volumes from Snapshots.You get persistent storage for your cloud-native environments and the ability to migrate your enterprise applications, without adding complexity. The integration and partnership of NetApp and Google Cloud gives enterprise customers a simple, integrated experience and gives developers the tools and performance to build what's next.

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程