内存池原理大揭秘

欢迎你们前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~

本文由[amc](cloud.tencent.com/developer/u…)发表于云+社区专栏

在 C 语言的动态申请内存技术中，相比起 alloc/free 系统调用，内存池（memory pool）是与如今系统中请求一大片连续的内存空间，而后在运行时根据实际须要分配出去的技术。使用内存池的优势有：

1. 速度远比 malloc/free 快，由于减小了系统调用的次数，特别是频繁申请/释放内存块的状况
2. 避免了频繁申请/释放内存以后，系统的大量内存碎片
3. 节省空间

---

分类

根据分配出去的内存大小，内存池能够分为两类：

Fixed-size Allocation

每次分配出去的内存单元（称为 unit 或者 cell）的大小为程序预先定义的值。释放内存块时，则只须要简单地挂回内存池链表中便可。又称为 “固定尺寸缓冲池”。

常规的作法是：将不一样 unit size 的内存池整合在一块儿，以知足不一样内存块大小的使用需求

Variable-size allocation

不分配固定长度，内存的分配只是在一大块空闲的内存上滑动。优势是分配效率很高，缺点是成批地回收内存，由于释放的内存没法直接重复利用。

使用这种须要合理规划每块内存的管理区域，因此又叫作 “基于区域的” 内存管理。使用这种作法的分配器，举例有 Apache Portable Runtime 中的 apr_pool 工具。本文不讨论这种内存池。

---

原理和结构

概念和数据结构

定长内存池有一些基本和必要的概念，须要定义在内存池的结构数据中。如下命名方式使用变体的匈牙利命名法，好比 nNext，n表示变量类型为整形。相似地，p表示指针。

Memory Unit

每次程序调用 MemPool_Alloc 获取一个内存区域后，会得到一块连续的内存区域。管理一个这样的内存区域的单元就成为内存单元 unit，有时也称做 chunk。每一个 unit 须要包含如下数据：

1. nNext：整型数据，表示下一个可供分配的 unit 的标识号。功能请参见后问
2. pData[]：实际的内存区域，其大小在建立时由调用方指定

Memory Block

一个内存块，内存块中保存着一系列的内存单元。

这个数据结构须要包含如下基本信息：

1. nSize：整型数据，表示该 block 在内存中的大小
2. nFree：整型，表示剩下有几个 unit 未被分配
3. nFirst：整型，表示下一个可供分配的 unit 的标识号
4. pNext：指针，指向下一个 memory block

Memory Pool

一个内存池总的管理数据结构，换句话说，是一个内存池对象。

1. pBlock：指针，指向第一个 memory block
2. nUnitSize：整型，表示每一个 unit 的尺寸
3. nInitSize：整型，表示第一个 block 的 unit 个数
4. nGrowSize：整型，表示在第一个 block 以外再继续增长的每一个 block 的 unit 个数

函数接口

做为一个内存池，须要实现如下一些基本的函数接口，或者说能够是对象方法：

memPoolCreate()

建立一个 memory pool，必须的参数为 unit size，可选参数为上文 memory pool 的 nInitSize 和 nGrowSize。

memPoolDestroy()

销毁整个 memory pool 并交还给操做系统。

memPoolAlloc()

从 memory pool 中分配一个 unit，其尺寸是预先定义的 unit size。

memPoolFree()

释放一个指定的 unit。

---

工做过程

如今咱们用一个 unit size 为 102四、init size 为 4（每个 block 有 4 个 units）的 memory pool 为例，解释一下内存池的工做原理。下文假设整型的宽度为 4 个字节。

建立 memory pool

程序开始，调用并建立一个 memory pool。此时调用的函数为 memPoolCreate()，程序会建立一个数据结构，相应的结构体成员及其取值以下：

memory pool alloc

当调用者第一次请求 memPoolAlloc() 时，内存池发现 block 链表为空，因而想系统申请内存，建立 memory block，并初始化以下（其中地址值为假设值）：

其中 nSize = 4112 = sizeof(memPool) + nInitSize * sizeof(memUnit)。每个 nNext 依次加一，各指代着跟着本身的下一个 unit。最后一个 unit 的 nNext 值无心义，所以不说明其取值。

而后返回须要的 unit 中的内存。返回内存的逻辑以下：

1. 内存池在 block 中查询 nFree 成员
2. 因为 nFree > 0，表示有未分配的 unit，所以继续在该 block 中查看 nFirst 成员
3. nFirst 等于 0，表示该 block 中位置为 0 的 unit 可用。所以内存池能够将这个 unit 中的 pData 地址返回给调用方。 pData 的地址值计算方式为：pBlock + sizeof(memBlock) + nFirst * (sizeof(memUnit)) + sizeof(nNext) = 0x10010
4. nFree 减一
5. 修改 nFirst 的值，标记下一个可用的 unit。注意这里的 nFirst 切切不能简单地加一，而是取返回给调用方的 unit 所对应的 nNext 的值，也就是下图(2)处原来的值 1
6. 将 pData 的地址值返回。为便于说明，这块区域咱们标记为 CA

操做后各数据结构的状态以下：

第二次调用 alloc 的状况相似。调用后各数据结构的状态以下：

memory pool free

咱们先看看结果：

1. 首先程序会检查 CA 的地址值，很快就会发现，地址 0x10010 位于上述第一个 block 的范围以内（0x10000 <= 0x10010 <= (0x10000 + 4112)）。再计算偏移值能够很快得出其对应的 nNext 标号，也就是上图中的(2)位置。
2. 回收 unit，此时须要标记相应的成员值以标示 unit 的回收状态。首先查看 nFirst 的值，参见上前幅图，nFirst 的值为 3，表示位置(3)处的 unit 是可用的。所以咱们首先把 (2) 处的 nNext 值设置为 3，将其加回到可用 unit 的链表中
3. 将 nFirst 的值修改成 0，也就是表明刚刚回收回来的 unit 的标号，而(2)处的值赋值为 2，表示b(3)的 unit

其实能够看到，上面就是一个简单的链表操做。根据上面的过程，若是 CB 也释放了的话，那么 memory pool 的状态则会变成这样：

到这个时候，因为整个 block 已经彻底回收了（nFree == nInitSize），那么根据不一样的策略，能够考虑将整个 block 从内存中释放掉。

block 满

咱们回到 alloc 的逻辑中，能够看到内存池最开始会检查 block 的 nFree 成员。若是 nFree == 0 的时候，那么就会在该 block 的 pNext 中去找到下一个 block，再去检查 nFree。若是发现 block 链表已经结束了，那就意味着当前全部的 block 已满，必须建立新的 block。

在实际设计中，咱们须要考虑选取合适的 init size 和 grow size 值。从上面的算法中能够看到，若是 alloc/free 调用很是频繁时，第一个 block 的使用效率是很是高的。

---

变体或改进

1. 有些简化的版本中，能够不使用 pNext 来维护链表，也就是只有一个 block，而且内存的使用有一个明确且受控的上限值。这常常用在没有 malloc 系统调用的 RTOS 或者是一些对内存很是敏感的嵌入式系统中。
2. 若是要用于多线程环境中，那么 memory pool 结构体须要加上锁

参考资料

• 《C++应用程序性能优化》 - 内存池 章节
• Memory Pool Basic Concepts

相关阅读 【每日课程推荐】机器学习实战！快速入门在线广告业务及CTR相应知识

此文已由做者受权腾讯云+社区发布，更多原文请点击

搜索关注公众号「云加社区」，第一时间获取技术干货，关注后回复1024 送你一份技术课程大礼包！

海量技术实践经验，尽在云加社区！