【转】 管理CPU 亲和性

简单地说，CPU 亲和性（affinity） 就是进程要在某个给定的 CPU 上尽可能长时间地运行而不被迁移到其余处理器的倾向性。Linux 内核进程调度器天生就具备被称为 软 CPU 亲和性（affinity） 的特性，这意味着进程一般不会在处理器之间频繁迁移。这种状态正是咱们但愿的，由于进程迁移的频率小就意味着产生的负载小。

2.6 版本的 Linux 内核还包含了一种机制，它让开发人员能够编程实现 硬 CPU 亲和性（affinity）。这意味着应用程序能够显式地指定进程在哪一个（或哪些）处理器上运行。

什么是 Linux 内核硬亲和性（affinity）？

在 Linux 内核中，全部的进程都有一个相关的数据结构，称为 task_struct。这个结构很是重要，缘由有不少；其中与 亲和性（affinity）相关度最高的是 cpus_allowed 位掩码。这个位掩码由 n 位组成，与系统中的 n 个逻辑处理器一一对应。 具备 4 个物理 CPU 的系统能够有 4 位。若是这些 CPU 都启用了超线程，那么这个系统就有一个 8 位的位掩码。

若是为给定的进程设置了给定的位，那么这个进程就能够在相关的 CPU 上运行。所以，若是一个进程能够在任何 CPU 上运行，而且可以根据须要在处理器之间进行迁移，那么位掩码就全是 1。实际上，这就是 Linux 中进程的缺省状态。

Linux 内核 API 提供了一些方法，让用户能够修改位掩码或查看当前的位掩码：

• sched_set_affinity() （用来修改位掩码）
• sched_get_affinity() （用来查看当前的位掩码）

注意，cpu_affinity 会被传递给子线程，所以应该适当地调用 sched_set_affinity。

---

回页首

为何应该使用硬亲和性（affinity）？

一般 Linux 内核均可以很好地对进程进行调度，在应该运行的地方运行进程（这就是说，在可用的处理器上运行并得到很好的总体性能）。内核包含了一些用来检测 CPU 之间任务负载迁移的算法，能够启用进程迁移来下降繁忙的处理器的压力。

通常状况下，在应用程序中只需使用缺省的调度器行为。然而，您可能会但愿修改这些缺省行为以实现性能的优化。让咱们来看一下使用硬亲和性（affinity） 的 3 个缘由。

缘由 1. 有大量计算要作

基于大量计算的情形一般出如今科学和理论计算中，可是通用领域的计算也可能出现这种状况。一个常见的标志是您发现本身的应用程序要在多处理器的机器上花费大量的计算时间。

缘由 2. 您在测试复杂的应用程序

测试复杂软件是咱们对内核的亲和性（affinity）技术感兴趣的另一个缘由。考虑一个须要进行线性可伸缩性测试的应用程序。有些产品声明能够在 使用更多硬件 时执行得更好。

咱们不用购买多台机器（为每种处理器配置都购买一台机器），而是能够：

• 购买一台多处理器的机器
• 不断增长分配的处理器
• 测量每秒的事务数
• 评估结果的可伸缩性

若是应用程序随着 CPU 的增长能够线性地伸缩，那么每秒事务数和 CPU 个数之间应该会是线性的关系（例如斜线图 —— 请参阅下一节的内容）。这样建模能够肯定应用程序是否能够有效地使用底层硬件。

Amdahl 法则

Amdahl 法则是有关使用并行处理器来解决问题相对于只使用一个串行处理器来解决问题的加速比的法则。加速比（Speedup） 等于串行执行（只使用一个处理器）的时间除以程序并行执行（使用多个处理器）的时间：

T(1) S = ------ T(j)

其中 T(j) 是在使用 j 个处理器执行程序时所花费的时间。

Amdahl 法则说明这种加速比在现实中可能并不会发生，可是能够很是接近于该值。对于一般状况来讲，咱们能够推论出每一个程序都有一些串行的组件。随着问题集不断变大，串行组件最终会在优化解决方案时间方面达到一个上限。

Amdahl 法则在但愿保持高 CPU 缓存命中率时尤为重要。若是一个给定的进程迁移到其余地方去了，那么它就失去了利用 CPU 缓存的优点。实际上，若是正在使用的 CPU 须要为本身缓存一些特殊的数据，那么全部其余 CPU 都会使这些数据在本身的缓存中失效。

所以，若是有多个线程都须要相同的数据，那么将这些线程绑定到一个特定的 CPU 上是很是有意义的，这样就确保它们能够访问相同的缓存数据（或者至少能够提升缓存的命中率）。不然，这些线程可能会在不一样的 CPU 上执行，这样会频繁地使其余缓存项失效。

缘由 3. 您正在运行时间敏感的、决定性的进程

咱们对 CPU 亲和性（affinity）感兴趣的最后一个缘由是实时（对时间敏感的）进程。例如，您可能会但愿使用硬亲和性（affinity）来指定一个 8 路主机上的某个处理器，而同时容许其余 7 个处理器处理全部普通的系统调度。这种作法确保长时间运行、对时间敏感的应用程序能够获得运行，同时能够容许其余应用程序独占其他的计算资源。

下面的样例应用程序显示了这是如何工做的。

---

回页首

如何利用硬亲和性（affinity）

如今让咱们来设计一个程序，它可让 Linux 系统很是繁忙。可使用前面介绍的系统调用和另一些用来讲明系统中有多少处理器的 API 来构建这个应用程序。实际上，咱们的目标是编写这样一个程序：它可让系统中的每一个处理器都繁忙几秒钟。能够从后面的“下载”一节中 下载样例程序。

清单 1. 让处理器繁忙

/* This method will create threads, then bind each to its own cpu. */ bool do_cpu_stress(int numthreads) { int ret = TRUE; int created_thread = 0; /* We need a thread for each cpu we have... */ while ( created_thread < numthreads - 1 ) { int mypid = fork(); if (mypid == 0) /* Child process */ { printf("\tCreating Child Thread: #%i\n", created_thread); break; } else /* Only parent executes this */ { /* Continue looping until we spawned enough threads! */ ; created_thread++; } } /* NOTE: All threads execute code from here down! */

 

正如您能够看到的同样，这段代码只是经过 fork 调用简单地建立一组线程。每一个线程都执行这个方法中后面的代码。如今咱们让每一个线程都将亲和性（affinity）设置为本身的 CPU。

清单 2. 为每一个线程设置 CPU 亲和性（affinity）

cpu_set_t mask; /* CPU_ZERO initializes all the bits in the mask to zero. */ CPU_ZERO( &mask ); /* CPU_SET sets only the bit corresponding to cpu. */ CPU_SET( created_thread, &mask ); /* sched_setaffinity returns 0 in success */ if( sched_setaffinity( 0, sizeof(mask), &mask ) == -1 ) { printf("WARNING: Could not set CPU Affinity, continuing...\n"); }

 

若是程序能够执行到这儿，那么咱们的线程就已经设置了本身的亲和性（affinity）。调用 sched_setaffinity 会设置由 pid 所引用的进程的 CPU 亲和性（affinity）掩码。若是 pid 为 0，那么就使用当前进程。

亲和性（affinity）掩码是使用在 mask 中存储的位掩码来表示的。最低位对应于系统中的第一个逻辑处理器，而最高位则对应于系统中最后一个逻辑处理器。

每一个设置的位都对应一个能够合法调度的 CPU，而未设置的位则对应一个不可调度的 CPU。换而言之，进程都被绑定了，只能在那些对应位被设置了的处理器上运行。一般，掩码中的全部位都被置位了。这些线程的亲和性（affinity）都会传递给从它们派生的子进程中。

注意不该该直接修改位掩码。应该使用下面的宏。虽然在咱们的例子中并无所有使用这些宏，可是在本文中仍是详细列出了这些宏，您在本身的程序中可能须要这些宏。

清单 3. 间接修改位掩码的宏

void CPU_ZERO (cpu_set_t *set) 这个宏对 CPU 集 set 进行初始化，将其设置为空集。 void CPU_SET (int cpu, cpu_set_t *set) 这个宏将 cpu 加入 CPU 集 set 中。 void CPU_CLR (int cpu, cpu_set_t *set) 这个宏将 cpu 从 CPU 集 set 中删除。 int CPU_ISSET (int cpu, const cpu_set_t *set) 若是 cpu 是 CPU 集 set 的一员，这个宏就返回一个非零值（true），不然就返回零（false）。

 

对于本文来讲，样例代码会继续让每一个线程都执行某些计算量较大的操做。

清单 4. 每一个线程都执行一个计算敏感的操做

/* Now we have a single thread bound to each cpu on the system */ int computation_res = do_cpu_expensive_op(41); cpu_set_t mycpuid; sched_getaffinity(0, sizeof(mycpuid), &mycpuid); if ( check_cpu_expensive_op(computation_res) ) { printf("SUCCESS: Thread completed, and PASSED integrity check!\n", mycpuid); ret = TRUE; } else { printf("FAILURE: Thread failed integrity check!\n", mycpuid); ret = FALSE; } return ret; }

 

如今您已经了解了在 Linux 2.6 版本的内核中设置 CPU 亲和性（affinity）的基本知识。接下来，咱们使用一个 main 程序来封装这些方法，它使用一个用户指定的参数来讲明要让多少个 CPU 繁忙。咱们可使用另一个方法来肯定系统中有多少个处理器：

int NUM_PROCS = sysconf(_SC_NPROCESSORS_CONF);

这个方法让程序可以本身肯定要让多少个处理器保持繁忙，例如缺省让全部的处理器都处于繁忙状态，并容许用户指定系统中实际处理器范围的一个子集。

---

回页首

运行样例程序

当运行前面介绍的 样例程序 时，可使用不少工具来查看 CPU 是不是繁忙的。若是只是简单地进行测试，可使用 Linux 命令 top。在运行 top 命令时按下 “1” 键，能够看到每一个 CPU 执行进程所占用的百分比。

---

回页首

结束语

这个样例程序虽然很是简单，可是它却展现了使用 Linux 内核中实现的硬亲和性（affinity）的基本知识。（任何使用这段代码的应用程序都无疑会作一些更有意义的事情。）了解了 CPU 亲和性（affinity）内核 API 的基本知识，您就能够从复杂的应用程序中榨取出最后一点儿性能了。