memcached存储解析

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。 它经过在内存中缓存数据和对象来减小读取数据库的次数，从而提升动态、数据库驱动网站的速度。

Memcached如何存储咱们的数据？

要很好的使用Memcached，那么必须知道咱们的数据交给Memcached，它是怎么处理它们的。为了说明这个，须要先了解几个名词：slab class,page,chunk。它们三者之间的关系以下： 

1. slab class ：memcached会自动根据设置的chunk size以及当前分配给memcached建立一系列slab class，单个slab class中的chunk大小是同样的，而每一个slab class中的chunk大小根据设置设置的chunk_size*growth_factor^(i-1),其中i表示第几个slab class(这里须要注意这里的chunk_size不仅是item的数据大小，还包含memcached内部的一个item结构体大小，这个值通常是48byte，默认的growth_factor是1.25)。
2. chunk：能够理解为memcached中存储数据的最小单元，每一个存储在memcached中的item都会分配一个符合它大小的chunk，chunk的数量决定了memcached存储item的数量，默认的chunk为48byte。
3. page：memcached中的内存是已page为单位分配给每一个slab class，而后每一个slab class根据它的chunk大小，计算出各自可以存储的item的数量，默认page大小为1M。而每一页可以存放多少个item，这取决于chunk_size的大小。

 

经过上面能够看到slab class 1中一个page可以存储的item数量是最多的，而最后一个slab class一个page只能存储一个item。这是因为第一个slab class 1的chunk大小是全部slab class中最小的，那么对于就致使了slab class 1的可以存储的item最多了。

memcached这样作的好处什么呢？memcached这样作将数据存储根据可以存储的大小归为几类，而且内存按照固定的大小来划分。相比于随机分配内存大小，致使内存碎片难于回收来讲，这种内存方案对内存的利用率更高，并且便于管理。这就是memcached的slab allocation。

对于memcached来讲，若是一个item申请写入数据，会计算当前item的大小而后加上memcached的item结构体大小，判断具体是存储在哪一个slab class上面。判断的条件是item_size+item_structure_size<=某个slab class上的chunk大小。以上面的图来讲，好比我须要写入一个54byte的数据（key+value），因为memcached的item结构体大小是48，那么memcached对于这个item须要写入的总数据大小是100byte，因而就会写入slab class2的某个chunk里面。因而就会存在下面的状况：

因为slab class2的chunk大小是112byte，那么写入100byte数据，就会有12byte空间浪费。这就是下一个话题，如何可以让memcached充分使用内存。

 

让Memcached充分使用内存。

上面列举的例子能够看出如何chunk大小设置不合适会致使内存空间的浪费，如何让memcached合理的使用内存呢？下面将介绍设置哪些参数来达到根据具体的业务合理的使用内存。

1. 经过上面能够知道，slab class 1中可以存储的item数量是全部slab class中最多的，那么若是可以调整slab class 1的chunk大小，就可以提升memcached存储的数据量，而且对内存的利用率也有很大的提升。能够经过在memcached的启动参数-n来设置的slab class 1的chunk大小。因为后面的slab class都是在这个基础上递增，那么其实的slab class的chunk大小比较重要。好比你发现大家的业务存入memcached都是100byte的大小数据，那么能够将起始slab class的chunk设置为148byte(还要加上48byte的item结构体大小)，例如memcached -n 148。这样就能够将数据基本上都会分布在slab class 1上面，并且在每一页上面可以建立的chunk数量也是最大的。
2. 上面说经过调整slab class 1的chunk大小来提供可以存储的item数量，那么只是对于item大小比较固定的状况。若是对于item大小存在差别的时候呢？那么能够经过设置growth_factor来控制后面的slab class中chunk递增的速度，能够控制slab class中chunk大小变化幅度，来提升memcached的利用率。好比你如今的数据基本上在100-200byte之间，若是让这些数据所有存储在slab class 1那么有些item会只是占用chunk中的一半，这样对内存浪费比较大。因此能够条件growth_factor大小，来控制整个chunk大小在slab class递增的速度。能够经过启动参数-f来指定growth_factor大小，好比memcached -f 1.01 -n 100 （growth_factor值必须大于1）这样可让memcached在chunk为100的基础上增加速度比较缓慢，可以有多个slab class的chunk大小分布在100-200byte之间。具体设置什么，能够根据你的业务或者必定的公式来得到这个值。
3. 除了上面几个参数以外，能够调节页面的大小，以及分配给memcached的总内存大小来控制memcached分配内存的策略。经过启动参数-m调节memcached总内存大小，以及-I调节页面的大小。