服务器三大致系SMP、NUMA、MPP介绍

从系统架构来看，目前的商用服务器大致能够分为三类，即对称多处理器结构(SMP：Symmetric Multi-Processor)，非一致存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processing)。它们的特征分别描述以下：

SMP(Symmetric Multi-Processor)

所谓对称多处理器结构，是指服务器中多个CPU对称工做，无主次或从属关系。各CPU共享相同的物理内存，每一个 CPU访问内存中的任何地址所需时间是相同的，所以SMP也被称为一致存储器访问结构(UMA：Uniform Memory Access)。对SMP服务器进行扩展的方式包括增长内存、使用更快的CPU、增长CPU、扩充I/O(槽口数与总线数)以及添加更多的外部设备(一般是磁盘存储)。

SMP服务器的主要特征是共享，系统中全部资源(CPU、内存、I/O等)都是共享的。也正是因为这种特征，致使了SMP服务器的主要问题，那就是它的扩展能力很是有限。对于SMP服务器而言，每个共享的环节均可能形成SMP服务器扩展时的瓶颈，而最受限制的则是内存。因为每一个CPU必须经过相同的内存总线访问相同的内存资源，所以随着CPU数量的增长，内存访问冲突将迅速增长，最终会形成CPU资源的浪费，使 CPU性能的有效性大大下降。实验证实，SMP服务器CPU利用率最好的状况是2至4个CPU。           

 

图1.SMP服务器CPU利用率状态

NUMA(Non-Uniform Memory Access)

因为SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。利用NUMA技术，能够把几十个CPU(甚至上百个CPU)组合在一个服务器内。其CPU模块结构如图2所示： 

 

图2.NUMA服务器CPU模块结构

NUMA服务器的基本特征是具备多个CPU模块，每一个CPU模块由多个CPU(如4个)组成，而且具备独立的本地内存、I/O槽口等。因为其节点之间能够经过互联模块(如称为Crossbar Switch)进行链接和信息交互，所以每一个CPU能够访问整个系统的内存(这是NUMA系统与MPP系统的重要差异)。显然，访问本地内存的速度将远远高于访问远地内存(系统内其它节点的内存)的速度，这也是非一致存储访问NUMA的由来。因为这个特色，为了更好地发挥系统性能，开发应用程序时须要尽可能减小不一样CPU模块之间的信息交互。利用NUMA技术，能够较好地解决原来SMP系统的扩展问题，在一个物理服务器内能够支持上百个CPU。比较典型的NUMA服务器的例子包括HP的Superdome、SUN15K、IBMp690等。

但NUMA技术一样有必定缺陷，因为访问远地内存的延时远远超过本地内存，所以当CPU数量增长时，系统性能没法线性增长。如HP公司发布Superdome服务器时，曾公布了它与HP其它UNIX服务器的相对性能值，结果发现，64路CPU的Superdome (NUMA结构)的相对性能值是20，而8路N4000(共享的SMP结构)的相对性能值是6.3。从这个结果能够看到，8倍数量的CPU换来的只是3倍性能的提高。 

 

图3.MPP服务器架构图

MPP(Massive Parallel Processing)

和NUMA不一样，MPP提供了另一种进行系统扩展的方式，它由多个SMP服务器经过必定的节点互联网络进行链接，协同工做，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每一个SMP服务器称节点)经过节点互联网络链接而成，每一个节点只访问本身的本地资源(内存、存储等)，是一种彻底无共享(Share Nothing)结构，于是扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。目前业界对节点互联网络暂无标准，如 NCR的Bynet，IBM的SPSwitch，它们都采用了不一样的内部实现机制。但节点互联网仅供MPP服务器内部使用，对用户而言是透明的。

在MPP系统中，每一个SMP节点也能够运行本身的操做系统、数据库等。但和NUMA不一样的是，它不存在异地内存访问的问题。换言之，每一个节点内的CPU不能访问另外一个节点的内存。节点之间的信息交互是经过节点互联网络实现的，这个过程通常称为数据重分配(Data Redistribution)。

可是MPP服务器须要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器每每经过系统级软件(如数据库)来屏蔽这种复杂性。举例来讲，NCR的Teradata就是基于MPP技术的一个关系数据库软件，基于此数据库来开发应用时，无论后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不须要考虑如何调度其中某几个节点的负载。

NUMA与MPP的区别

从架构来看，NUMA与MPP具备许多类似之处：它们都由多个节点组成，每一个节点都具备本身的CPU、内存、I/O，节点之间均可以经过节点互联机制进行信息交互。那么它们的区别在哪里？经过分析下面NUMA和MPP服务器的内部架构和工做原理不难发现其差别所在。

首先是节点互联机制不一样，NUMA的节点互联机制是在同一个物理服务器内部实现的，当某个CPU须要进行远地内存访问时，它必须等待，这也是NUMA服务器没法实现CPU增长时性能线性扩展的主要缘由。而MPP的节点互联机制是在不一样的SMP服务器外部经过I/O 实现的，每一个节点只访问本地内存和存储，节点之间的信息交互与节点自己的处理是并行进行的。所以MPP在增长节点时性能基本上能够实现线性扩展。

其次是内存访问机制不一样。在NUMA服务器内部，任何一个CPU能够访问整个系统的内存，但远地访问的性能远远低于本地内存访问，所以在开发应用程序时应该尽可能避免远地内存访问。在MPP服务器中，每一个节点只访问本地内存，不存在远地内存访问的问题。

数据仓库的选择

哪一种服务器更加适应数据仓库环境？这须要从数据仓库环境自己的负载特征入手。众所周知，典型的数据仓库环境具备大量复杂的数据处理和综合分析，要求系统具备很高的I/O处理能力，而且存储系统须要提供足够的I/O带宽与之匹配。而一个典型的OLTP系统则以联机事务处理为主，每一个交易所涉及的数据很少，要求系统具备很高的事务处理能力，可以在单位时间里处理尽可能多的交易。显然这两种应用环境的负载特征彻底不一样。

从NUMA架构来看，它能够在一个物理服务器内集成许多CPU，使系统具备较高的事务处理能力，因为远地内存访问时延远长于本地内存访问，所以须要尽可能减小不一样CPU模块之间的数据交互。显然，NUMA架构更适用于OLTP事务处理环境，当用于数据仓库环境时，因为大量复杂的数据处理必然致使大量的数据交互，将使CPU的利用率大大下降。

相对而言，MPP服务器架构的并行处理能力更优越，更适合于复杂的数据综合分析与处理环境。固然，它须要借助于支持MPP技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。另外，这种并行处理能力也与节点互联网络有很大的关系。显然，适应于数据仓库环境的MPP服务器，其节点互联网络的I/O性能应该很是突出，才能充分发挥整个系统的性能。

转载至http://server.51cto.com/sCollege-198840.htm。