日志服务支持Shard自动分裂

摘要： 日志服务提供Shard自动分裂功能，实时监控Shard流量，自动进行shard分裂以应对流量上涨，解决流量估算不许、随时可能上涨又难以及时处理的问题，保障数据完整。

日志服务的数据模型中，使用Shard来控制Logstore的写入、读取吞吐能力，每一个Shard提供5MB/sec写入、10MB/sec读取，一般状况下，shard越多，Logstore的吞吐越大。

在建立Logstore时，能够根据实际数据量来进行预先设置shard的个数，同时，日志服务提供shard的split和merge功能，在日志量超过现有shard处理能力的状况，用户可分裂shard提高Logstore的处理能力。

可是，你有没有为这样状况而烦恼 :

• 事先没法准确预估数据量，预设多少个shard才合适呢
• 数据量随时会突增，人不必定可以及时处理，长时间超quota没法写入而致使丢失的风险

针对以上状况，日志服务提供了Shard自动分裂功能，后台实时监控每一个shard的流量，若是发现一个shard的写入在一段时间内，有连续出现超过shard处理能力的状况，会触发shard的自动分裂。触发条件：

• 数据量超出Shard的服务能力，且持续5分钟。
• Logstore中readwrite状态的Shard数目未超过设定的最大shard总数。

开启Logstore的自动分裂功能也很是简单，只要修改一下Logstore属性：

配置项	说明
自动分裂shard	Shard自动分裂功能开关。开启该功能后，知足条件的Shard会在数据量超出Shard服务能力时自动分裂。
最大分裂数	Shard自动分裂后的最大数目。开启自动分裂Shard功能后，最大可支持自动分裂至64个分区。

开启Shard自动分裂后， 你的Logstore将直接拥有自动弹性扩容的能力，解决流量估算不许、随时可能上涨又难以及时处理的问题，保障数据完整。

原文连接