6、CPU优化（4）NUMA架构

1、服务器系统架构

　　从系统架构来看，目前的商用服务器大致能够分为如下三类

1. 即对称多处理器结构（SMP：Symmetric Multi-Processor），，

　　在SMP架构中，每一个CPU对称工做，各CPU共享相同的物理内存，每一个 CPU访问内存中的任何地址所需时间是相同的，所以SMP也被称为一致存储器访问结构（UMA：Uniform Memory Access）。

　　对SMP服务器进行扩展的主要方法有：增长内存、更高的CPU工做频率、添加CPU、改善I/O性能。 

　　可是，SMP架构中的全部资源（CPU、内存、I/O等）都是共享的，致使了它的扩展能力很是有限。最受限制的则是内存，因为每一个CPU必须经过相同的内存总线访问相同的内存资源，所以随着CPU数量的增长，内存访问冲突将迅速增长，最终会形成CPU资源的浪费，使 CPU性能的有效性大大下降。实验证实，SMP架构时，CPU利用率最好的状况是2至4个CPU。

 

 

2. 大规模并行处理结构（MPP：Massive Parallel Processing）

　　由多个SMP服务器（每一个SMP服务器称节点）经过节点互联网络链接而成，每一个节点只访问本身的本地资源（内存、存储等），是一种彻底无共享（Share Nothing）结构，于是扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。目前业界对节点互联网络暂无标准，如 NCR的Bynet，IBM的SPSwitch，它们都采用了不一样的内部实现机制。但节点互联网仅供MPP服务器内部使用，对用户而言是透明的。

　　在MPP系统中，每一个SMP节点也能够运行本身的操做系统、数据库等。可是每一个节点内的CPU不能访问另外一个节点的内存，节点之间的信息交互只能经过节点互联网络实现。 

　　可是MPP服务器还须要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器每每经过系统级软件（如数据库）来屏蔽这种复杂性。举例来讲，NCR的Teradata就是基于MPP技术的一个关系数据库软件，基于此数据库来开发应用时，无论后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不须要考虑如何调度其中某几个节点的负载。

　　SQL Server 2008 R2 PDW（并行数据仓库，以前称之为“Madison”）版本采用MPP架构，能够对大型数据表进行分区，并将分区存储在多个物理节点当中，每个节点均有其独占的CPU资源、内存资源、以及存储资源，而且各自运行独立的SQL Server实例，这种模型称之为Ultra Shared Nothing。全部组件彼此间都是平衡的，从而消除了性能瓶颈。

　　MPP的节点互联机制是在不一样的SMP服务器外部经过I/O 实现的，每一个节点只访问本地内存和存储，节点之间的信息交互与节点自己的处理是并行进行的。所以MPP在增长节点时性能基本上能够实现线性扩展。

 

 

3. 非一致内存访问结构（NUMA：Non-Uniform Memory Access）

 

　　在NUMA架构中有多个CPU模块，每一个CPU模块由多个CPU组成，而且具备独立的本地内存、I/O槽口等。因为其节点之间能够经过互联模块（如称为Crossbar Switch）进行链接和信息交互，所以每一个CPU能够访问整个系统的内存。显然，访问本地内存的速度将远远高于访问远地内存（系统内其它节点的内存）的速度，这也是非一致内存访问的由来。

　　从架构来看，NUMA与MPP具备许多类似之处：它们都由多个节点组成，每一个节点都具备本身的CPU、内存、I/O，节点之间均可以经过节点互联机制进行信息交互。可是又有很大的不一样：

（1）节点互联机制

　　NUMA的节点互联机制是在同一个物理服务器内部实现的，当某个CPU须要进行远地内存访问时，它必须等待，这也是NUMA服务器没法实现CPU增长时性能线性扩展的主要缘由。

（2）内存访问机制

　　在NUMA服务器内部，任何一个CPU能够访问整个系统的内存，但远地访问的性能远远低于本地内存访问，所以在开发应用程序时应该尽可能避免远地内存访问。 

 

 

2、NUMA的优点与局限性

1. 优点

　　利用NUMA技术，能够较好地解决原来SMP系统的扩展问题，在一个物理服务器内能够支持上百个CPU。比较典型的NUMA服务器的例子包括HP的Superdome、SUN15K、IBMp690等。

 

2. 局限性

　　在NUMA架构中，因为访问远地内存的延时远远超过本地内存，所以当CPU数量增长时，系统性能没法线性增长。因为这个特色，为了更好地发挥系统性能，开发应用程序时须要尽可能减小不一样CPU模块之间的信息交互。

　　如HP公司发布Superdome服务器时，曾公布了它与HP其它UNIX服务器的相对性能值，结果发现，64路CPU的Superdome （NUMA结构）的相对性能值是20，而8路N4000（共享的SMP结构）的相对性能值是6.3。从这个结果能够看到，8倍数量的CPU换来的只是3倍性能的提高。

 

 

3、处理器组

　　NUMA能够解决手动配置处理器组。

 

 

4、SQL Server中的NUMA

　　SQL Server 2000 SP4 开始对NUMA提供有限的 NUMA 支持，SQL Server 2005 有了大量重要的改进。SQL Server 2008对NUMA彻底支持和优化，内存访问会尽可能使用离CPU最近的内存，以提升性能。

　　《SQL Server 如何支持 NUMA》 http://msdn.microsoft.com/zh-cn/library/ms180954(v=SQL.105).aspx

 

1. CPU编号

　　2个物理CPU，4核，超线程，总共为2*4*2=16个逻辑CPU。以下图所示：

 

2. SSMS中查看NUMA

 

3. 任务管理器中查看CPU负载

　　在此实验中，运行了一个较大负荷的SQL Server查询，而后在任务管理器中查看，可见大多数的操做都在集中在某一个NumaNode执行。

 

5、SQL Server 中的软件NUMA

　　推荐使用硬件NUMA，因这它是在硬件层面上得以支持。如何才能知道本机是否有硬件NUMA呢? 最好的办法是问硬件供应商了。

　　若是硬件自己不支持NUMA，还能够在软件层面上设置NUMA。 http：//www。e800。com。cn/articles/2011/1116/498746.shtml

　　软件NUMA只是对CPU进行分组，并不会改变内存。所以对于内存来说，仍是只有一个节点，因此两个NUMA节点访问的都是同一块内存。而增长软件NUMA结点的好处在于，SQL Server会针对每个软件NUMA结点，多一个LazyWriter的线程，若是系统在LazyWriter上是性能瓶颈的话，引入软件NUMA则能够有效提高性能。

 

 

本文结语：

　　经过NUMA技术，能够扩展性能，在一个物理服务器内能够支持上百个CPU。使用硬件NUMA，请咨询硬件供应商。