大型分布式网站架构：缓存在分布式系统中的应用

缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。

1、缓存概述

缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。

1.1 缓存的原理

（1） 将数据写入/读取速度更快的存储（设备）；

（2） 将数据缓存到离应用最近的位置；

（3） 将数据缓存到离用户最近的位置。

1.2 缓存分类

在分布式系统中，缓存的应用很是普遍，从部署角度有如下几个方面的缓存应用。

（1） CDN缓存；

（2） 反向代理缓存；

（3） 分布式Cache；

（4） 本地应用缓存；

1.3 缓存媒介

经常使用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等；

缓存的内容：文件，数据，对象；

缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式）

1.4 缓存设计

缓存设计须要解决如下几个问题：

（1） 缓存什么？

哪些数据须要缓存：1.热点数据；2.静态资源；

（2） 缓存的位置？

CDN，反向代理，分布式缓存服务器，本机（内存，硬盘）

（3） 如何缓存的问题？

• 过时策略

1.固定时间：好比指定缓存的时间是30分钟；

2.相对时间：好比最近10分钟内没有访问的数据；

• 同步机制

实时写入；（推）
异步刷新；（推拉）

2、CDN缓存

CDN主要解决将数据缓存到离用户最近的位置，通常缓存静态资源文件（页面，脚本，图片，视频，文件等）。国内网络异常复杂，跨运营商的网络访问会很慢。为了解决跨运营商或各地用户访问问题，能够在重要的城市，部署CDN应用。使用户就近获取所需内容，下降网络拥塞，提升用户访问响应速度和命中率。

2.1CND原理

CDN的基本原理是普遍采用各类缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工做正常的缓存服务器上，由缓存服务器直接响应用户请求。

（1） 未部署CDN应用前

网络请求路径：

请求：本机网络（局域网）——》运营商网络——》应用服务器机房

响应：应用服务器机房——》运营商网络——》本机网络（局域网）

在不考虑复杂网络的状况下，从请求到响应须要通过3个节点，6个步骤完成一次用户访问操做。

（2） 部署CDN应用后

网络路径：

请求：本机网络（局域网）——》运营商网络

响应：运营商网络——》本机网络（局域网）

在不考虑复杂网络的状况下，从请求到响应须要通过2个节点，2个步骤完成一次用户访问操做。

与不部署CDN服务相比，减小了1个节点，4个步骤的访问。极大的提升的系统的响应速度。

2.2 CDN优缺点

（1）优势（摘自百度百科）

一、本地Cache加速：提高访问速度，尤为含有大量图片和静态页面站点；

二、镜像服务：消除了不一样运营商之间互联的瓶颈形成的影响，实现了跨运营商的网络加速，保证不一样网络中的用户都能获得良好的访问质量；

三、远程加速：远程访问用户根据DNS负载均衡技术智能自动选择Cache服务器，选择最快的Cache服务器，加快远程访问的速度；

四、带宽优化：自动生成服务器的远程Mirror（镜像）cache服务器，远程用户访问时从cache服务器上读取数据，减小远程访问的带宽、分担网络流量、减轻原站点WEB服务器负载等功能。

五、集群抗攻击：普遍分布的CDN节点加上节点之间的智能冗余机制，能够有效地预防黑客入侵以及下降各类D.D.o.S攻击对网站的影响，同时保证较好的服务质量。

（2）缺点

1.动态资源缓存，须要注意实时性；

解决：主要缓存静态资源，动态资源创建多级缓存或准实时同步；

2.如何保证数据的一致性和实时性须要权衡考虑；

解决：

1. 设置缓存失效时间（1个小时，最终一致性）；
2. 数据版本号；

2.3CND架构参考

摘自《云宙视频CDN系统》

2.4 CND技术实践

目前，中小型互联网公司，综合成本考虑，通常租用第三方CDN服务，大型互联网公司，采用自建或第三方结合的方式。好比淘宝刚开始使用第三方的，当流量很大后，第三方公司没法支撑其CDN流量，淘宝最后采用自建CDN的方式实现。

淘宝CDN，以下图（来自网络）：

3、反向代理缓存

反向代理是指在网站服务器机房部署代理服务器，实现负载均衡，数据缓存，安全控制等功能。

3.1缓存原理

反向代理位于应用服务器机房，处理全部对WEB服务器的请求。若是用户请求的页面在代理服务器上有缓冲的话，代理服务器直接将缓冲内容发送给用户。若是没有缓冲则先向WEB服务器发出请求，取回数据，本地缓存后再发送给用户。经过下降向WEB服务器的请求数，从而下降了WEB服务器的负载。

反向代理通常缓存静态资源，动态资源转发到应用服务器处理。经常使用的缓存应用服务器有Varnish，Ngnix，Squid。

3.2 Squid示例

Squid 反向代理通常只缓存静态资源，动态程序默认不缓存。根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面。有四个最重要 HTTP 头标记：

Last-Modified: 告诉反向代理页面什么时间被修改

Expires: 告诉反向代理页面什么时间应该从缓冲区中删除

Cache-Control: 告诉反向代理页面是否应该被缓冲

Pragma: 用来包含实现特定的指令，最经常使用的是 Pragma:no-cache

Squid 反向代理加速网站实例

（1） 经过DNS的轮询技术，将客户端的请求分发给其中一台 Squid 反向代理服务器处理；

（2） 若是这台 Squid 缓存了用户的请求资源，则将请求的资源直接返回给用户；

（3） 不然这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理；

（4） 这样既减轻后台 WEB 服务器的负载，又提升整个网站的性能和安全性。

3.2 代理缓存比较

经常使用的代理缓存有Varnish，Squid，Ngnix，简单比较以下：

（1） varnish和squid是专业的cache服务，nginx须要第三方模块支持；

（2） Varnish采用内存型缓存，避免了频繁在内存、磁盘中交换文件，性能比Squid高；

（3） Varnish因为是内存cache，因此对小文件如css,js,小图片啥的支持很棒，后端的持久化缓存能够采用的是Squid或ATS；

（4） Squid功能全而大，适合于各类静态的文件缓存，通常会在前端挂一个HAProxy或nginx作负载均衡跑多个实例；

（5） Nginx采用第三方模块ncache作的缓冲，性能基本达到varnish，通常做为反向代理使用，能够实现简单的缓存。

在此我向你们推荐一个架构学习交流群。交流学习群号：575745314 里面会分享一些资深架构师录制的视频录像：有Spring，MyBatis，Netty源码分析，高并发、高性能、分布式、微服务架构的原理，JVM性能优化、分布式架构等这些成为架构师必备的知识体系。还能领取免费的学习资源，目前受益良多

4、分布式缓存

CDN,反向代理缓存，主要解决静态文件，或用户请求资源的缓存，数据源通常为静态文件或动态生成的文件（有缓存头标识）。

分布式缓存，主要指缓存用户常常访问数据的缓存，数据源为数据库。通常起到热点数据访问和减轻数据库压力的做用。

目前分布式缓存设计，在大型网站架构中是必备的架构要素。经常使用的中间件有Memcache，Redis。

4.1Memcache

Memcache是一个高性能，分布式内存对象缓存系统，经过在内存里维护一个统一的巨大的hash表，它可以用来存储各类格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，而后从内存中读取，从而大大提升读取速度。

Memcache特性：

（1）使用物理内存做为缓存区，可独立运行在服务器上。每一个进程最大2G，若是想缓存更多的数据，能够开辟更多的memcache进程（不一样端口）或者使用分布式memcache进行缓存，将数据缓存到不一样的物理机或者虚拟机上。

（2）使用key-value的方式来存储数据，这是一种单索引的结构化数据组织形式，可以使数据项查询时间复杂度为O(1)。

（3）协议简单：基于文本行的协议，直接经过telnet在memcached服务器上可进行存取数据操做，简单，方便多种缓存参考此协议；

（4）基于libevent高性能通讯：Libevent是一套利用C开发的程序库，它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口，与传统的select相比，提升了性能。

（5）内置的内存管理方式：全部数据都保存在内存中，存取数据比硬盘快，当内存满后，经过LRU算法自动删除不使用的缓存，但没有考虑数据的容灾问题，重启服务，全部数据会丢失。

（6）分布式：各个memcached服务器之间互不通讯，各自独立存取数据，不共享任何信息。服务器并不具备分布式功能，分布式部署取决于memcache客户端。

（7）缓存策略：Memcached的缓存策略是LRU（最近最少使用）到期失效策略。在memcached内存储数据项时，能够指定它在缓存的失效时间，默认为永久。当memcached服务器用完分配的内时，失效的数据被首先替换，而后也是最近未使用的数据。在LRU中，memcached使用的是一种Lazy Expiration策略，本身不会监控存入的key/vlue对是否过时，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过时，这样可减轻服务器的负载。

4.1.1Memcache工做原理

MemCache的工做流程以下：

（1） 先检查客户端的请求数据是否在memcached中，若有，直接把请求数据返回，再也不对数据库进行任何操做；

（2） 若是请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，须要程序实现）；

（3） 每次更新数据库的同时更新memcached中的数据，保证一致性；

（4） 当分配给memcached内存空间用完以后，会使用LRU（Least Recently Used，最近最少使用）策略加上到期失效策略，失效数据首先被替换，而后再替换掉最近未使用的数据。

4.1.2Memcache集群

memcached 虽然称为 “ 分布式 ” 缓存服务器，但服务器端并无 “ 分布式 ” 功能。每一个服务器都是彻底独立和隔离的服务。 memcached 的分布式，是由客户端程序实现的。

当向memcached集群存入/取出key value时，memcached客户端程序根据必定的算法计算存入哪台服务器，而后再把key value值存到此服务器中。

存取数据分二步走，第一步，选择服务器，第二步存取数据。

分布式算法(Consistent Hashing)：

选择服务器算法有两种，一种是根据余数来计算分布，另外一种是根据散列算法来计算分布。
余数算法：

先求得键的整数散列值，再除以服务器台数，根据余数肯定存取服务器。

优势：计算简单，高效；

缺点：在memcached服务器增长或减小时，几乎全部的缓存都会失效。
散列算法：（一致性Hash）

先算出memcached服务器的散列值，并将其分布到0到2的32次方的圆上，而后用一样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，若是超过2的32次方，依然找不到服务器，就将数据保存到第一台memcached服务器上。

若是添加了一台memcached服务器，只在圆上增长服务器的逆时针方向的第一台服务器上的键会受到影响。

一致性Hash算法：解决了余数算法增长节点命中大幅额度下降的问题，理论上，插入一个实体节点，平均会影响到：虚拟节点数 /2 的节点数据的命中。

4.2Redis

Redis 是一个开源（BSD许可）的，基于内存的，多数据结构存储系统。能够用做数据库、缓存和消息中间件。 支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。

内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不一样级别的 磁盘持久化（persistence）， 并经过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（high availability）。

4.2.1Redis经常使用数据类型

一、String

　　经常使用命令：set,get,decr,incr,mget 。

　　应用场景：String是最经常使用的一种数据类型，与Memcache的key value存储方式相似。

　　实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr,decr等操做时会转成数值型进行计算，此时redisObject的encoding字段为int。

二、Hash

　　经常使用命令：hget,hset,hgetall 。

　　应用场景：以存储一个用户信息对象数据，为例：

实现方式：

　 Redis Hash对应的Value，内部实际就是一个HashMap，实际这里会有2种不一样实现。

（1） Hash的成员比较少时Redis为了节省内存会采用相似一维数 组的方式来紧凑存储，而不会采用真正的HashMap结构，对应的value redisObject的encoding为zipmap；

（2） 当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。

三、List

　　经常使用命令：lpush,rpush,lpop,rpop,lrange。

　　应用场景：

　　Redis list的应用场景很是多，也是Redis最重要的数据结构之一，好比twitter的关注列表，粉丝列表等均可以用Redis的list结构来实现。

　　实现方式：

　　Redis list的实现为一个双向链表，能够支持反向查找和遍历，方便操做。不过带来了部分额外的内存开销，Redis内部的不少实现，包括发送缓冲队列等也都是用的这个数据结构。

　　四、Set

　　经常使用命令：sadd,spop,smembers,sunion。

　　应用场景：

　 　Redis set对外提供的功能与list相似是一个列表的功能，特殊之处在于set是能够自动排重的，当你须要存储一个列表数据，又不但愿出现重复数据时，set 是一个很好的选择，而且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

　　实现方式：

　　set 的内部实现是一个 value永远为null的HashMap，实际就是经过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的缘由。

　　五、Sorted set

　　经常使用命令：zadd,zrange,zrem,zcard；

　　使用场景：

　 　Redis sorted set的使用场景与set相似，区别是set不是自动有序的，而sorted set能够经过用户额外提供一个优先级(score)的参数来为成员排序，而且是插入有序的，即自动排序。当你须要一个有序的而且不重复的集合列表，能够选择sorted set数据结构，好比twitter 的public timeline能够以发表时间做为score来存储，这样获取时就是自动按时间排好序的。

　　实现方式：

　　Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的 是全部的成员，排序依据是HashMap里存的score,使用跳跃表的结构能够得到比较高的查找效率，而且在实现上比较简单。

4.2.2Redis集群

（1）经过keepalived实现的高可用方案

切换流程：

1. 当Master挂了后，VIP漂移到Slave；Slave 上keepalived 通知redis 执行：slaveof no one ,开始提供业务
2. 当Master起来后，VIP 地址不变，Master的keepalived 通知redis 执行slaveof slave IP host ，开始做为从同步数据
3. 依次类推

主从同时Down机状况：

1. 非计划性，不作考虑，通常也不会存在这种问题

2.、计划性重启，重启以前经过运维手段SAVE DUMP 主库数据；须要注意顺序：

1. 关闭其中一台机器上全部redis，是得master所有切到另一台机器（多实例部署，单机上既有主又有从的状况）；并关闭机器
2. 依次dump主上redis服务
3. 关闭主
4. 启动主，并等待数据load完毕
5. 启动从

6.删除DUMP 文件（避免重启加载慢）

（2）使用Twemproxy 实现集群方案

特色：快、轻量级、减小后端Cache Server链接数、易配置、支持ketama、modula、random、经常使用hash 分片算法。

这里使用keepalived实现高可用主备方案，解决proxy单点问题；

优势：

1. 对于客户端而言，redis集群是透明的，客户端简单，遍于动态扩容
2. Proxy为单点、处理一致性hash时，集群节点可用性检测不存在脑裂问题
3. 高性能，CPU密集型，而redis节点集群多CPU资源冗余，可部署在redis节点集群上，不须要额外设备

4.3Memcache与Redis的比较

（1）数据结构：Memcache只支持key value存储方式，Redis支持更多的数据类型，好比Key value，hash，list，set，zset；

（2）多线程：Memcache支持多线程，redis支持单线程；CPU利用方面Memcache优于redis；

（3）持久化：Memcache不支持持久化，Redis支持持久化；

（4）内存利用率：memcache高，redis低（采用压缩的状况下比memcache高）；

（5）过时策略：memcache过时后，不删除缓存，会致使下次取数据数据的问题，Redis有专门线程，清除缓存数据；

5、本地缓存

本地缓存是指应用内部的缓存，标准的分布式系统，通常有多级缓存构成。本地缓存是离应用最近的缓存，通常能够将数据缓存到硬盘或内存。

3.1硬盘缓存

将数据缓存到硬盘到，读取时从硬盘读取。原理是直接读取本机文件，减小了网络传输消耗，比经过网络读取数据库速度更快。能够应用在对速度要求不是很高，但须要大量缓存存储的场景。

3.2 内存缓存

直接将数据存储到本机内存中，经过程序直接维护缓存对象，是访问速度最快的方式。

6、缓存架构示例

职责划分：

• CDN：存放HTML,CSS,JS等静态资源；
• 反向代理：动静分离，只缓存用户请求的静态资源；
• 分布式缓存：缓存数据库中的热点数据；
• 本地缓存：缓存应用字典等经常使用数据；

请求过程：

（1） 浏览器向客户端发起请求，若是CDN有缓存则直接返回；

（2） 若是CDN无缓存，则访问反向代理服务器；

（3） 若是反向代理服务器有缓存则直接返回；

（4） 若是反向代理服务器无缓存或动态请求，则访问应用服务器；

（5） 应用服务器访问本地缓存；若是有缓存，则返回代理服务器，并缓存数据；（动态请求不缓存）

（6） 若是本地缓存无数据，则读取分布式缓存；并返回应用服务器；应用服务器将数据缓存到本地缓存（部分）；

（7） 若是分布式缓存无数据，则应用程序读取数据库数据，并放入分布式缓存；

在此我向你们推荐一个架构学习交流群。交流学习群号：575745314 里面会分享一些资深架构师录制的视频录像：有Spring，MyBatis，Netty源码分析，高并发、高性能、分布式、微服务架构的原理，JVM性能优化、分布式架构等这些成为架构师必备的知识体系。还能领取免费的学习资源，目前受益良多

7、数据一致性

缓存是在数据持久化以前的一个节点，主要是将热点数据放到离用户最近或访问速度更快的介质中，加快数据的访问，减少响应时间。

由于缓存属于持久化数据的一个副本，所以不可避免的会出现数据不一致问题。致使脏读或读不到数据的状况。数据不一致，通常是由于网络不稳定或节点故障致使。根据数据的操做顺序，主要有如下几种状况。

2.1场景介绍

（1）先写缓存，再写数据库

以下图：

假如缓存写成功，但写数据库失败或响应延迟，则下次读取（并发读）缓存时，就出现脏读；

（2）先写数据库，再写缓存

以下图：

假如写数据库成功，但写缓存失败，则下次读取（并发读）缓存时，则读不到数据；

（3）缓存异步刷新

指数据库操做和写缓存不在一个操做步骤中，好比在分布式场景下，没法作到同时写缓存或须要异步刷新（补救措施）时候。

此种状况，主要考虑数据写入和缓存刷新的时效性。好比多久内刷新缓存，不影响用户对数据的访问。

2.2解决方法

第一个场景：

这个写缓存的方式，自己就是错误的，须要改成先写持久化介质，再写缓存的方式。

第二个场景：

（1）根据写入缓存的响应来进行判断，若是缓存写入失败，则回滚数据库操做；此种方法增长了程序的复杂度，不建议采用；

（2）缓存使用时，假如读缓存失败，先读数据库，再回写缓存的方式实现。

第三个场景：

（1）首先肯定，哪些数据适合此类场景；

（2）根据经验值肯定合理的数据不一致时间，用户数据刷新的时间间隔；

2.3 其余方法

（1）超时：设置合理的超时时间；

（2）刷新：定时刷新必定范围内（根据时间，版本号）的数据；

以上是简化数据读写场景，实际中会分为：

（1）缓存与数据库之间的一致性；

（2）多级缓存以前的一致性；

（3）缓存副本以前的一致性。

8、缓存高可用

业界有两种理论，第一套缓存就是缓存，临时存储数据的，不须要高可用。第二种缓存逐步演化为重要的存储介质，须要作高可用。

本人的见解是，缓存是否高可用，须要根据实际的场景而定。临界点是是否对后端的数据库形成影响。

具体的决策依据须要根据，集群的规模（数据，缓存），成本（服务器，运维），系统性能（并发量，吞吐量，响应时间）等方面综合评价。

3.1解决方法

缓存的高可用，通常经过分布式和复制实现。分布式实现数据的海量缓存，复制实现缓存数据节点的高可用。架构图以下：

其中，分布式采用一致性Hash算法，复制采用异步复制。

3.2其余方法

（1）复制双写：缓存节点的复制，由异步改成双写，只有两份都写成功，才算成功。

（2）虚拟层：一致性Hash存在，假如其中一个HASH环不可用，数据会写入临近的环，当HASH可用时，数据又写入正常的HASH环，会致使数据偏移问题。这种状况，能够考虑在HASH环前面加一个虚拟层实现。

（3）多级缓存：好比一级使用本地缓存，二级采用分布式Cahce，三级采用分布式Cache+本地持久化；

方式不少，须要根据业务场景灵活选择。

9、缓存雪崩

雪崩是指当大量缓存失效时，致使大量的请求访问数据库，致使数据库服务器，没法抗住请求或挂掉的状况。

解决方法：

（1）合理规划缓存的失效时间；

（2）合理评估数据库的负载压力；

（3）对数据库进行过载保护或应用层限流；

（4）多级缓存设计，缓存高可用；

10、缓存穿透

缓存通常是Key，value方式存在，当某一个Key不存在时会查询数据库，假如这个Key，一直不存在，则会频繁的请求数据库，对数据库形成访问压力。

解决方法：

（1）对结果为空的数据也进行缓存，当此key有数据后，清理缓存；

（2）必定不存在的key，采用布隆过滤器，创建一个大的Bitmap中，查询时经过该bitmap过滤；