分布式存储系统关键问题

（一）关键问题

• 数据分布

对于存储系统，最重要的问题就是数据分布，即什么样的数据放置在什么样的节点上。数据分布时须要考虑数据是否均衡、之后是否容易扩容等一系列问题。不一样的数据分布方式也存在不一样的优缺点，须要根据自身数据特色进行选择。

1）哈希分布 => 随机读取

取模直接哈希：

将不一样哈希值的数据分布到不一样的服务器上

关键：找出一个散列特性很好的哈希函数

问题：增长、减小服务器时的大量数据迁移

解决：1）将<哈希值,服务器>元数据存储在元数据服务器中；2）一致性哈希

一致性哈希：

给系统每一个节点分配一个随机token，这些token构成一个hash环。执行数据存放操做时，先计算key的hash值，而后存放到顺时针方向第一个大于或者等于该hash值的token所在节点。

关键：哈希值变成了一个范围，每一个物理节点上存储的数据是哈希值处于前一段范围的数据。

优势： 节点增长/删除时只会影响到在hash环中相邻的节点，而对其余节点没影响。

维护每台机器在哈希环中的位置方式：1） 记录它前一个&后一个节点的位置信息，每次查找可能遍历整个哈希环全部服务器；2） O（logN）位置信息，查找的时间复杂度为O（logN）；3） 每台服务器维护整个集群中全部服务器的位置信息，查找服务器的时间复杂度为O（1）

虚拟节点：

将哈希取模的模数取得很大，就会获得更多的哈希值，这个哈希值成为逻辑节点，一个物理机器能够根据本身的能力选择若干个逻辑节点的存储节点。

优势：将传统哈希的一（物理节点）对一（哈希值）的分布变成了一（物理节点）对多（哈希值）的分布。能够根据物理节点的能力调整数据的分布。

2）顺序分布 => 顺序扫描

表格上的数据按照主键总体有序

• 负载均衡

1）数据写入时，写入节点的选择（空间容量？CPU负载？）

2）运行过程当中，数据的迁移

若是运行过程当中有新机器的加入，致使每一个机器的存储数据量不一样，须要可以自动发现，并自动进行调整。可是在调整的过程当中也要控制好速度，以避免对业务产生影响。

• 复制&多备份

1）最大保护模式

强同步复制：至少在一个备库上执行成功

至少成功存储2个备份，才返回成功。

2）最大性能模式

异步复制模式：主库执行成功即返回

只要成功存储1个备份，就返回成功。

3）最大可用性模式

两种模式折衷：正常状况是最大保护模式，出现故障时变成最大性能模式

• 数据一致性

版本号：在收到写入数据请求时，生成对应版本号。

删除老的版本号；读取时，保证读取到的是最新的版本号的数据；写入时，保证写入数据的版本号要新与存储的。

• 容错

1）故障检测

心跳：S每隔一段时间向C发送一个心跳包

租约机制：带有超时时间的受权

2）故障恢复

master：主备机制，持久化索引

datanode：永久故障，增长备份

• 可扩展性

1）总控节点是否成为瓶颈

不是瓶颈：舍弃小文件的处理，数据的读写控制权下放到工做机，经过客户端缓存元数据减小对总控节点的访问

内存成为瓶颈：采用两级结构，在总控机与工做机之间加一层元数据节点

2）同构系统

存储节点分为若干组，每一个组内的节点服务彻底相同的数据

3）异构系统

将数据划分为大小接近的分片，每一个分片的多个副本分布到集群中的任何一个存储节点，某个节点发生故障，原有的服务将由整个集群而不是某几个固定的存储节点来恢复