【大话存储】多CPU架构变迁， SMP,NUMA,MPP

多CPU架构演进

对称多处理器结构：(SMP，Symmetric Multi-Processor)

服务器最开始的时候是单CPU，而后才进化到了双CPU甚至多CPU的SMP架构。所谓SMP架构指的是多路CPU无主次，共享内存、总线、操做系统等。此时每一个CPU访问内存任何地址所耗费的时间是相等的。因此也称为一致存储器访问结构

你们共享一样的内存，因此扩展能力有限，由于CPU数量增长了，内存访问冲突也会增长。为了进一步提升CPU数量的同时还能保证效率，NUMA架构出现了，将多个SMP进行松耦合。

还有一种AMP架构，不一样的CPU是作不一样的事的，互不干扰。

非一致存储访问结构：(NUMA，Non-Uniform Memory Access)

NUMA架构中，多个SMP经过Crossbar switch交换矩阵进行互联。
每一个SMP有本身的内存，同时还能够访问其余SMP的内存，可是须要通过高速交换矩阵，很显然SMP访问本身的内存速度很是高，可是访问远端的SMP的内存还须要通过交换矩阵，延迟增长，能够看出NUMA经过牺牲内存的访问时延来达到更高的扩展性。

总之，SMP与NUMA架构对软件程序方面影响扩展性不大，一台主机内都使用单一的操做系统。
缺点是CPU数量增长，访问远端内存的时延也会增长，性能不能线性增长。此时MPP架构就出现了。

海量并行处理结构：(MPP，Massive Parallel Processing)

MPP说白了就是将多台独立的主机组成集群。显然在此架构下，每一个节点都有各自的CPU、内存、IO总线、操做系统，彻底松耦合。最关键的是MPP集群中的软件架构也相应的改变了，这样MPP的效率随节点数量增长就能够线性增长了。

其实若是NUMA架构下，若是经过上层软件来使得程序尽可能少的读取远端的内存，NUMA效率也会线性增长。可是实际上NUMA操做系统仍然是同一个，内存仍然是全局均匀的，因此访问远端内存是不可避免的。

那么MPP至关于把内存强制分开，同时又改变了程序架构，这样就能够保证海量计算下的效率线性增长。

存储系统的演进

存储系统与服务器CPU架构演进相同，控制器就比如CPU，后端磁盘柜就相似于内存。

• SMP
  纵观存储系统的演进，一开始是单控，后来演进到双控互为备份，此时就相似于AMP，两个控制器各自处理本身的任务。
  而后进入到双控并行处理的时代（HDS的AMS2000存储系统），相似于SMP，两个控制器能够并行的处理。
  再到后来则有多控并行对称处理架构，Oracle的RAC集群就能够视为一种多点SMP，各类共享底层存储的集群文件系统都属于多点对称SMP
• NUMA
  一样NUMA也出如今了存储系统中，好比EMC的V-Max至关于多个SMP利用高速交换矩阵来共享访问每一个SMP上的内存，其中SMP就是一对控制器组成的Director，高速交换矩阵就是RapidIO
• MPP
  • 那么IBM的XIV就属于松耦合MPP架构，每一个节点都有本身的CPU、内存、IO接口，使用外部的交换机互相通讯。
  • 而HDS的VSP更像是一个紧耦合的MPP。
  • 另外一种属于MPP架构的存储系统就是分布式文件系统，好比HDFS等。
    MPP对软件架构变化很大，因此传统存储厂商很难将以前的架构演进到MPP上来。
    

谁才是真正的Scale-out

SMP/NUMA/MPP其实都算Scale-out，只不过程度和形态不一样。
MPP架构的存储，好比XIV，在多路大块连续的IO下，效率反而不好。这是由于单路IO可能致使整个MPP集群中的磁盘资源所有牵动

可是若是是小块随机的IO，多路IO关联不多，则性能随节点数增长线性增长，这就比如将一个程序并行分解为多个子任务（相似于随机小IO），由于子任务之间的关联不多，节点之间的通讯量很小，则并行执行的效率高。也就是MPP自身是share-Nothing架构，运行在上面的程序也尽量的是Share-Nothing

SMP、NUMA、MPP各有各的好处，好比

• SMP适用于扩展性要求不高，而又不想程序改变太大的场景。
• MPP则适用于海量数据下的高扩展性需求场景。它须要对程序进行大量的改变，并且多流大块连续IO场景下性能不佳。因此MPP架构普遍的应用于互联网的底层Key-Value分布式数据库，这种数据库主要应对高随机小块读的场景，能够得到很是高的性能。

参考

大话存储II