对象存储COS成本优化方案

随着上云企业愈来愈多,企业对用云成本问题也愈加重视。业务的发展会产生海量存储需求,在云端存储数据时,如何进行成本优化,减轻业务负担呢?安全

在进行成本优化以前,首先须要了解腾讯云对象存储COS的成本构成。对象存储的计费项主要包括存储费用、流量费用、请求费用、数据取回费用和管理费用等五大项;对于大部分客户来讲,存储费用和流量费用是其云存储成本的主要组成部分。网络

  • 存储费用方面,COS提供了标准存储、低频存储、智能分层存储、归档存储、深度归档存储等不一样的存储类型,各个存储类型的产品规格和价格均存在差别,客户能够根据本身的业务模式选择性价比最匹配的存储类型。
  • 流量费用方面,存在外网下行流量、CDN回源流量、跨地域复制流量和全球加速流量等流量类型,业务模式的差别会致使用户流量费用的构成存在差别。好比,某客户的业务主要以电商网站为主,存在大规模图片分发,这类业务的CDN回源流量较多,所以消耗的流量费用主要以流量费用为主。

下面咱们将从5个方面介绍COS成本优化方案:

  1. 选择合适的存储类型
  2. 按期经过清单和访问日志功能分析数据访问模式
  3. 经过生命周期和批量处理沉降数据
  4. 经过文件压缩减小存储容量
  5. 进行成本回顾

1、选择合适的存储类型

根据业务模式选择合适的存储类型可以较大幅度地优化业务的存储成本。COS提供了丰富多样的存储类型,客户能够根据对性能、数据持久性、业务可用性的要求,选择不一样的存储类型。标准存储的存储费用相对较高,但提供了最少的读取延迟;低频、归档、深度归档这三种存储类型的存储费用较低,可是在下载数据的时候,会额外消耗数据取回费用,而且须要消耗较久的取回时间,所以更适合于少许读取的数据存储。下表展现了使用不一样存储类型存储一个月数据对应的存储成本,以在广州园区存储100TB业务数据为例:架构

image

从表中能够看到,若是业务数据下载量较低,则选择归档存储甚至深度归档能有效下降存储成本,最冷的深度归档存储相较标准存储可节省90%存储费用;但若是业务数据须要频繁下载,则低频、归档、深度归档存储的取回费用会带来额外的成本开销,致使总体费用反而更高。工具

具体到业务场景中,咱们推荐:性能

  1. 频繁读写场景:好比UGC场景、电商图片等读多写少的业务,可以使用标准存储类型。若是业务对可用性和数据持久性有高要求,则能够考虑使用多可用区标准存储。
  2. 少许读场景(一个月读一次):好比日志数据分析、网盘数据等业务,读取频率较低,但读取时对性能要求高,可以使用低频存储类型。对可用性和数据持久性有高要求的业务可使用多可用区低频存储。
  3. 极少许读场景(三个月读一次):好比视频监控、日志数据归档等业务,读取频率极低,对读取性能要求较低,可以使用归档存储类型。
  4. 基本不读取场景(半年读一次):好比医疗影像、档案资料等业务,平常仅作长期备份用,对读取性能几乎无要求,可以使用深度归档存储类型。

此外,在使用不一样存储类型时,咱们建议客户注意最小存储时长和最小存储单元的限制,同时关注不一样存储类型的性能表现。下表提供了一个简单的对比。优化

最小存储时长:数据存储在对应存储类型时,须要存储的最短期,不满最短期按照最短期算。好比低频存储最少存储 30天,若是一个低频数据只存储了1天就删除,也会按照 30天计算费用。 _最小存储单元:数据存储在对应存储类型时,须要存储的最小文件容量,不满最小文件容量按照最小文件容量算。好比低频存储最少存储 64KB,若是一个低频文件只存储了 1KB,也会按照 64KB计算费用。_

image

2、按期经过清单和访问日志功能分析数据访问模式

分析数据的访问模式可以为选择合理的存储类型提供数据支撑。COS提供了清单能力和访问日志功能,分别用于记录存储的文件元数据信息和文件访问记录,并将这些信息转存到用户的存储桶中。网站

有关清单功能的详细介绍,能够参考文档 配置清单功能

有关访问日志管理功能的详细介绍,能够参考文档配置访问日志管理spa

对象存储提供了COS Select能力检索文件中的内容,若是您生成的清单文件或者日志记录过多,您也能够购买弹性Map Reduce集群,搭建Presto集群进行数据分析。3d

有关COS Select的能力介绍,能够参考文档 使用对象检索

有关EMR进行分析的介绍,能够参考文档使用Presto分析COS上的数据版本控制

以检索分析清单文件中的数据为例,当清单报告投递到指定存储桶后,您能够进入控制台对指定的清单报告进行分析:

一、进入文件列表,找到对应的清单报告,点击最右侧检索;

image

二、进入文件检索页面,配置好相应入参;

image

三、输入检索语句,在检索结果卡片页查看检索结果;

image

注意:控制台只支持检索128MB如下文件,若是清单报告的容量过大,或者报告数量过多,能够选择工具、SDK或者API的方式调用。

如下是几种常见的检索清单报告的检索语句:

image

注意:清单报告中不包含表头信息,所以只能输入对应字段的序列号进行检索,清单报告的表头和序列号对应信息以下:

image

3、经过生命周期和批量处理沉降数据

业务发展过程当中,数据的访问模式一直在动态变化,对于大部分数据而言,其访问热度通常随着存储时间的增加而下降。所以,企业须要根据业务数据访问模式的变化,调整数据存储类型以便业务成本处于最佳状态。

COS提供了生命周期能力帮助企业按期地转换存储类型,企业能够经过清单和访问日志分析业务数据的访问模式,根据业务访问模式制定合理的生命周期转换规则。

以某经营社区平台的客户为例,使用COS存储用户上传的图片数据。通常而言,图片数据在刚上传后的一段时间里会被频繁访问,通过一段时间传播后,大部分数据会逐渐”变冷“,访问频次逐渐减小。假设这一客户大部分图片数据在通过90天后数据访问频次已经低于1次/月,在365天后基本无人访问,咱们能够对比设置生命周期和不设置生命周期时的成本状况:

image

能够看到,使用生命周期规则管理存储桶中的对象可以较大幅度地下降数据存储费用。对于长期存储的数据,合理配置生命周期规则能帮助业务下降50%以上存储成本。

除了管理业务数据存储类型外,生命周期能力还能够用来管理存储桶中的文件碎片历史版本文件。文件碎片是业务在上传大文件过程当中,由于网络中断等意外状况中断传输产生的文件分块信息,若是业务中存在大量文件碎片,能够经过生命周期规则对文件碎片进行过时删除。历史版本文件则是开启版本控制功能后产生的旧文件信息,历史版本文件能够用于数据误删后的恢复和回滚,但会占用存储空间,业务一样能够设置一个过时删除时间,将没有用的历史版本文件清理掉,以在数据安全和成本之间进行平衡。

以下图,只须要在配置时,选择开启【管理历史版本文件】,或者选择【删除碎片】,便可按需进行配置。

image

对于个别业务,仅只须要一次性将大批量文件转为更冷的存储类型,而且没有固定的规则(好比指定的前缀或者标签),则用户可使用COSBatch批量处理能力,使用批量拷贝功能将数据修改成其余存储类型或者添加对象标签以便设置生命周期规则删除。操做步骤以下:

一、导出待处理文件列表,整合成csv格式文件;

二、建立COSBatch批量处理任务,导入文件列表;

三、执行批量处理任务,等候任务完成便可。

详细的操做步骤能够参考COSBatch批量处理操做指南,进一步了解操做详情。

4、经过文件压缩减小存储容量

对于图片类数据,对象存储也提供了数据压缩能力帮助用户压缩图片大小,减小存储成本。目前提供了压缩能力以下:

  1. Gueztli压缩。Gueztli压缩是一种视觉无损压缩,利用人眼对于部分色域及图片细节的不敏感性,在不影响视觉效果的前提下有选择地丢弃细节信息,使得在相同质量条件下比原图节省约35% - 50%的图片大小。
  2. TPG压缩。TPG 是腾讯推出的自研图片格式,可将 JPG、PNG、GIF、WEBP 等格式图片转换为 TPG 格式,大幅减少图片大小,压缩比可达到35%以上。
  3. HEIF压缩。针对 iOS 环境的图片使用场景,可将 JPG、PNG、GIF、WEBP 等格式图片转换为 HEIF 格式,HEIF 格式有着超高压缩率,压缩比通常在45%以上。

以某客户图片存储业务为例,下表对比了100TB图片存储采用不一样压缩方式后的成本支出状况:

image

从表中能够看到,使用图片压缩能力进行压缩后,尽管会付出必定压缩成本,但存储成本大幅度下降,实际总支出也下降了。此外,业务后续使用中会产生大量的流量,经过压缩也能极大地节约流量成本。

5、进行成本回顾

成本优化须要贯穿业务的全流程,而不只仅只在业务上云时进行成本规划,客户须要不定时进行成本回顾,按照业务需求合理规划业务的云存储架构,有利于下降存储成本。除此以外,客户能够进入腾讯云计费平台,下载腾讯云计费帐单了解云存储用量明细帐单,分析云存储消耗状况并针对性优化。

image

客户还能够关注“腾讯云存储”公众号或者进入对象存储控制台概览页,了解对象存储新品发布状况,关注对您成本优化有关的资讯。

image

腾讯云对象存储一直关注客户存储数据的性能和安全需求,致力于为客户提供更低成本的存储服务,帮忙用户降本增效。在将来,COS会持续探索并推出更多的存储产品和服务,挖掘场景化解决方案,为客户提供业界内性价比最高的存储服务。

相关文章
相关标签/搜索