Memcache内存缓存框架

 

转载请注明原文地址：http://www.javashuo.com/article/p-zqgsncbe-eq.html

 

一：Memcache是什么，为何要用它

　　MemCache是一个高性能、“分布式”的内存缓存系统，它经过在内存中缓存数据和对象来减小读取数据库的次数，从而提升了网站访问的速度，减轻数据库的负载。

　　MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（好比字符串、对象等）使用key-value形式进行存储。

　　数据能够来自数据库查询、API调用结果返回，或者网页传输过来的数据(session信息、request信息或者所携带的参数)。

　　 

二：Memcache安装与运维

　　一、在本机或者集群服务器上安装Memcache

（Ubuntu/Debian）
sudo apt-get install libevent ibevent-dev
sudo apt-get install memcached


（Redhat/Fedora/Centos）
yum install libevent libevent-devel
yum install memcached

 

　　二、启动memcache：使用 memcached命令

　　cd到memcached目录/bin下，经过 memcached [-options][value] 来启动memcache。

　　启动选项：

• -d是启动一个守护进程；
• -m是分配给Memcache使用的内存数量，单位是MB；
• -u是运行Memcache的用户；
• -l是监听的服务器IP地址，能够有多个地址；
• -p是设置Memcache监听的端口，，最好是1024以上的端口；
• -c是最大运行的并发链接数，默认是1024；
• -P是设置保存Memcache的pid文件。

 

　　三、memcache服务器运维

　　咱们还能够在终端窗口使用telnet指令，经过IP和端口链接到memcache服务器进行操做。

telnet HOST PORT

　　

　　四、memcache操做指令

　　1）存储指令

　　

 

　　2）查找与操做指令

　　

 

　　3）运维指令

　　

 

三：Memcache在开发中的应用——Java

　　一、添加依赖

　　二、链接memcache服务器

// 链接 Memcached 服务，建立memcache客户端对象
MemcachedClient mcc = new MemcachedClient(new InetSocketAddress("ip", port));

　　三、经过memcache对象调用api进行存储、查找操做，api的参数同上面第二点中的指令参数

 // 存储数据
Future fo = mcc.set(key, 有效期, 值);
//查找数据
mcc.get(key)

　　四、操做完成后关闭链接，以避免占用memcache服务器资源

// 关闭链接
mcc.shutdown();    

 

四：Memcache深刻解读

　　一、memcache与redis的区别和联系

　　1）存储数据类型区别

　　redis:支持较多的数据类型(String/list/set/sortset/hash)做为值；每一个value最大数据存储量为1G；支持持久化；目前只支持在linux下运行。

　　memcache：各类框架(tp/yii等等)都支持使用；session的信息能够很是方便的保存到memcache中，每一个key保存的数据量最大为1M；不支持持久化，断电重启就没有了。

　　2）分布式模式区别

　　redis:主从模式，一个redis负责数据写入，其余多个redis负责数据读取。

　　memcache:平均分摊模式，每一个子服务器之间都是平级的，每一个服务器都要执行数据的写入、读取操做。

　　3）联系

　　二者都是把数据保存在内存中，优化数据存取速度。

 

　　二、memcache的数据类型存储

　　1）基本数据类型——转化为String字符串格式来存储

　　2）引用类型对象——原型存储

　　因为原型存储对资源的消耗比较大，为了节省资源，能够把引用类型信息都变为字符串形式进行存储，这时须要进行 序列化 操做。

 

　　三、memcache的分布式

　　memcache的分布式 不是经过架构手段去实现的，咱们只须要部署多台memcache服务器，而后在代码中为memcache对象添加多个server便可。

　　其分布式特性是内置好了的，无需咱们再经过架构手段实现一遍。

　　memcache自己有算法，能够保证数据“平均”地存储在不一样的服务器里边。【注意：是平均，而不是复制，各台memcache中存储的内容是不一样的。】

 

 

　　四、Memcache的访问模型(参考：http://www.javashuo.com/article/p-ngxgekwb-cr.html)

　　

　　MemCache虽然被称为"分布式缓存"，可是MemCache自己彻底不具有分布式的功能，MemCache集群之间不会相互通讯（与之造成对比的，好比JBoss Cache，某台服务器有缓存数据更新时，会通知集群中其余机器更新缓存或清除缓存数据），所谓的"分布式"，彻底依赖于客户端程序的实现[经过代码]。

　　MemCache一次写缓存的流程：

　　1）应用程序输入须要写缓存的数据

　　2）API将Key输入路由算法模块，路由算法根据Key和MemCache集群服务器列表获得一台服务器编号

　　3）由服务器编号获得MemCache及其的ip地址和端口号

　　4）API调用通讯模块和指定编号的服务器通讯，将数据写入该服务器，完成一次分布式缓存的写操做

　　读缓存和写缓存同样，只要使用相同的路由算法和服务器列表，只要应用程序查询的是相同的Key，MemCache客户端老是访问相同的客户端去读取数据，只要服务器中还缓存着该数据，就能保证缓存命中。

 

　　五、memcache路由算法(参考：http://www.javashuo.com/article/p-ngxgekwb-cr.html)

　　1）余数Hash策略

　　例如，key的HashCode为50，memcache服务器有3台，则key.hashcode % 3 == 2，路由算法将key路由到第二台服务器上进行存储。

　　原理：因为hashcode的随机性，能够保证数据“较为平均”地分布在memcache服务器集群中。

　　缺点：服务器集群伸缩性差。当memcache服务器集群横向扩展时，服务器数量变化，会致使一样的key路由到新的服务器上，而旧路由器上的值不会被清除。

　　解决方案：

　　（1）在网站访问量低谷时段，一般是深夜，技术团队加班，扩容、重启服务器；

　　（2）而后经过模拟请求的方式，对缓存内容从新读写一遍，逐渐预热缓存，使缓存服务器中的数据从新分布；

 

　　2）一致性Hash算法

　　一致性Hash算法经过一个叫作一致性Hash环的数据结构实现Key到缓存服务器的Hash映射。

　　咱们将服务器节点分布在Hash环上，每一个key路由时，指向该key沿着hash环顺时针最近的服务器节点上。

　　例如：服务器扩展前的Hash环

 

　　当咱们新增了一台服务器时，环上新增了一个节点：

　　这样会致使上图中加粗部分缓存内容被从新分布，但相比第一种策略，这样已经优化了好多倍了。而且，集群中缓存服务器节点越多，增长节点带来的影响越小。

 

　　六、memcache的存储原理(参考：http://www.javashuo.com/article/p-ngxgekwb-cr.html)

　　MemCache采用的内存分配方式是 固定空间分配：

　　

　　

　　1）MemCache将内存空间分为一组slab

　　2）每一个slab下又有若干个page，每一个page默认是1M，若是一个slab占用100M内存的话，那么这个slab下应该有100个page

　　3）每一个page里面包含一组chunk，chunk是真正存放数据的地方，同一个slab里面的chunk的大小是固定的

　　4）有相同大小chunk的slab被组织在一块儿，称为slab_class

 

　　若是slab中没有chunk能够分配了怎么办：若是MemCache启动没有追加-M（禁止LRU，这种状况下内存不够会报Out Of Memory错误），那么MemCache会把这个slab中最近最少使用的chunk中的数据清理掉，而后放上最新的数据。

　　为何MemCache存放的value大小是限制的：由于一个新数据过来，slab会先以page为单位申请一块内存，申请的内存最多就只有1M，因此value大小天然不能大于1M了。

 

　　七、memcache的特性与限制

　　1）MemCache中能够保存的item数据量是没有限制的，只要内存足够

　　2）MemCache单进程在32位机中最大使用内存为2G，64位机则没有限制

　　3）Key最大为250个字节，超过该长度没法存储

　　4）单个item最大数据是1MB，超过1MB的数据不予存储

　　5）MemCache服务端是不安全的，好比已知某个MemCache节点的ip和port，能够直接telnet过去，并经过flush_all让已经存在的键值对当即失效

　　6）不可以遍历MemCache中全部的item，由于这个操做的速度相对缓慢且会阻塞其余的操做

　　7）MemCache的高性能源自于两阶段哈希结构：第一阶段在客户端，经过Hash算法根据Key值算出一个节点；第二阶段在服务端，经过一个内部的Hash算法，查找真正的item并返回给客户端。

　　8）MemCache设置添加某一个Key值的时候，传入expiry为0表示这个Key值永久有效，然而这个Key值也会在30天以后失效，这是在源码中写死了的。

 

五：常见的memcache使用

　　一、session共享

　　一个大型网站或系统，每每部署在多台服务器上。多台服务器彼此之间须要共享session信息，这时能够把session缓存在memcache中，而各服务器均可以从memcache中提取session进行分布式处理的同时又能保持一致性。

　　二、网页内容缓存

　　网站有一个页面须要得到许多数据信息，而且这些数据信息在短期内不会发生变化时。能够把这些数据得到出来存入到memacache中过去，供后续访问。