Memcached理解

1、Memcached简介：

1. Memcached是一个自由开源的，高性能的，分布式内存对象缓存系统。

2. Memcached是一种基于内存的key-value存储，用来存储小块的任意数据（字符串、对象）。这些数据能够是数据库调用、API调用或者是页面渲染的结果。通常的使用目的是，经过缓存数据库查询结果，减小数据库访问次数，以提升动态Web应用的速度、提升可扩展性。

3. Memcached简洁而强大。它的简洁设计便于快速开发，减轻开发难度，解决了大数据量缓存的不少问题。其守护进程是用C写的，可是客户端能够用任何语言来编写，并经过memcached协议与守护进程通讯。它的API兼容大部分流行的开发语言。

4. Memcached特色：

（1）基于C/S架构，协议简单；（基于文本行的协议，可以使用telnet协议链接）；

（2）基于libevent的事件处理；（使用libevent来进行网络并发链接的处理，在很大并发状况下仍能保持快速的响应能力）；

（3）内置内存存储方式；

（4）memcached不互相通讯的分布式。

 

2、Memcached内存分配：

1. 名词理解：

（1）Page：分配给Slab的内存空间，默认是1MB，分配给Slab以后根据slab的大小切成chunk。page一旦被分配，在memcached重启前不会被回收或者从新分配。

（2）chunk：用于缓存记录的内存空间。

（3）Slab Class：特定大小的chunk的组。每一个slab只负责必定大小范围内的数据存储。每一个slab中的chunk都是相同大小的。

2. page、slab和chunk三者关系的理解：

（1）page是memcached在收到内存不够的请求，并进行内存分配的单位。举例来讲，slab2的全部空间都用完了，又有大小适合slab2的数据过来了，那么slab2就会向memcached请求新的内存空间，memcached就会划分一个page大小的内存量到slab2。page的默认大小是1M，这个数值能够经过参数-I来修改。

（2）slab是memcached用来划定存储空间的大小概念，每当memcached启动的时候，它会按照-n参数配置的值（若是有的话，不然为默认值）来决定第一个slab的大小，而后根据-f参数的值来决定后续slab大小的增加速率，一个一个地决定后续的slab的大小，直到slab的大小达到设定的page大小（通常是1M）。 

（3）chunk是实际用来存储数据的内存空间，它的大小和包含它的slab的大小是一致的。当page大小的内存分配到slab的时候，slab会根据自身的大小将page大小的内存分割成 page / slabsize 个chunk。

3. 数据存储方式：Slab Allocation原理

　　将分配的内存分割成各类尺寸的块（chunk），并把尺寸相同的块分红组，以彻底解决内存碎片问题。Memcached根据收到的数据的大小，选择最适合数据大小的slab。Memcached中保存着slab内空闲chunk的列表，根据该列表选择chunk，而后将数据缓存于其中。

优势：不会存在内存碎片。

缺点：因为分配的是特定长度的内存，因此没法有效利用分配的内存。

4. 数据过时方式：Lazy Expiration + LRU（Least Recently Used）

（1）Lazy Expiration：Memcached内部不会监视记录是否过时，而是在get命令执行时查看记录的时间戳，检查记录是否过时。若是某一个item在memcached里过时了，这个东西并不会被删除，而是客户端没法再看见该记录，其存储空间便可重复使用。

注意：

　　只有对一个key执行了get命令以后Memcached才会知道这个key对应的值是否已过时，这点可使用命令来测试。当Memcached中的某些key对应的值过时以后，执行statssizes等统计命令的时候，Memcached仍是将它们当作未过时的数据，只有执行了get以后再执行统计命令，Memcached才知道哪些数据已过时。

  （2）LRU：Memcached会优先使用已超时的记录的空间，当内存空间不足时，就从最近未被使用的记录中搜索，并将其空间分配给新的记录。

 

3、Memcached一些特性和限制：

1. memcached缺少认证以及安全管制，这表明应该将memcached服务器放置在防火墙后。

2. memcached不提供冗余，当某个服务器S中止运行或崩溃了，全部存放在S上的键/值对都将丢失。

3. 往memcached存储的全部数据，若是数据的大小分布于各类chunk大小区间，从64B到1MB都有，可能会形成内存的极大浪费以及memcached的异常。

4. 在Memcached中能够保存的item数据量是没有限制的，只要内存足够。

5. Memcached单进程最大使用内存为2G，若要使用更多内存，能够多个端口开启多个Memcached进程。

6. 最大30天的数据过时时间，设置为永久的也会在这个时间过时，由常量REALTIME_MAXDELTA控制。

7. 最大键长为250字节，大于该长度没法存储，由常量KEY_MAX_LENGTH控制。

8. 单个item最大数据是1MB，超过1MB不予存储，由常量POWER_BLOCK控制。它是默认的slab大小。

9. 最大同时链接数是200，经过conn_init()中的freetotal进行控制，最大软链接数是1024，经过settings.maxconns进行控制。

10. 参数settings.factor和settings.chunk_size分别控制slab的数据占用和步进方式。