【高并发】在高并发环境下该如何构建应用级缓存？

写在前面

随着咱们的系统负载愈来愈高，系统的性能就会有所降低，此时，咱们能够很天然地想到使用缓存来解决数据读写性能低下的问题。可是，立志成为资深架构师的你，是否可以在高并发环境下合理而且高效的构建应用级缓存呢？

缓存命中率

缓存命中率是从缓存中读取数据的次数与总读取次数的比率，命中率越高越好。缓存命中率=从缓存中读取次数 / (总读取次数 (从缓存中读取次数 + 从慢速设备上读取次数))。这是一个很是重要的监控指标，若是作缓存，则应经过监控这个指标来看缓存是否工做良好。

缓存回收策略

1.基于空间

基于空间指缓存设置了存储空间，如设置为10MB，当达到存储空间上限时，按照必定的策略移除数据。

2.基于容量

基于容量指缓存设置了最大大小，当缓存的条目超过最大大小时，按照必定的策略移除旧数据。

3.基于时间

TTL(Time To Live):存活期，即缓存数据从建立开始直到到期的一个时间段（无论在这个时间段内有没有被访问，缓存数据都将过时）。
TTI(Time To Idle)：空闲期，即缓存数据多久没被访问后移除缓存的时间。

4.基于对象引用

软引用：若是一个对象是软引用，则当JVM堆内存不足时，垃圾回收器能够回收这些对象。软引用适合用来作缓存，从而当JVM堆内存不足时，能够回收这些对象腾出一些空间供强引用对象使用，从而避免OOM。
弱引用：当垃圾回收器回收内存时，若是发现弱引用，则将它当即回收。相对于软引用，弱引用有更短的生命周期。

注意：只有在没有其余强引用对象引用弱引用/软引用对象时，垃圾回收时才回收该引用。即若是有一个对象（不是弱引用/软引用对象）引用了弱引用/软引用对象，那么垃圾回收时不会回收该弱引用/软引用对象。

5.回收算法

使用基于空间和基于容量的缓存会使用必定的策略移除旧数据，常见的以下。

• FIFO(First In First Out)：先进先出算法，即先放入缓存的先被移除。
• LRU(Least Recently Used)：最近最少使用算法，时间时间距离如今最久的那个被移除。
• LFU(Least Frequently Used)：最不经常使用算法，必定时间段内使用次数（频率）最少的那个被移除。

实际应用中基于LRU的缓存居多。

缓存类型

堆内存： 使用Java堆内存来存储对象。使用堆缓存的好处是没有序列化/反序列化，是最快的缓存。缺点也很明显，当缓存的数据量很大时，GC（垃圾回收）暂停时间会变长，存储容量受限于堆空间大小。通常经过软引用/弱引用来存储缓存对象。即当堆内存不足时，能够强制回收这部份内存释放堆内存空间。通常使用堆缓存存储较热的数据。可使用Guava Cache、Ehcache 3.x、 MapDB实现。

堆外内存： 即缓存数据存储在堆外内存，能够减小GC暂停时间（堆对象转移到堆外，GC扫描和移动的对象变少了），能够支持更多的缓存空间（只受机器内存大小限制，不受堆空间的影响）。可是，读取数据时须要序列化/反序列化。所以，会比堆缓存慢不少。可使用Ehcache 3.x、 MapDB实现。

磁盘缓存： 即缓存数据存储在磁盘上，在JVM重启时数据还存在，而堆/堆外缓存数据会丢失，须要从新加载。可使用Ehcache 3.x、MapDB实现。

分布式缓存： 分布式缓存可使用ehcache-clustered(配合Terracotta server)实现Java进程间分布式缓存。也可使用Memcached、Redis实现。

缓存模式

单机模式： 存储最热的数据到堆缓存，相对热的数据到堆外缓存，不热的数据到磁盘缓存。
集群模式： 存储最热的数据到堆缓存，相对热的数据到对外缓存，全量数据到分布式缓存。

写在最后

若是以为文章对你有点帮助，请微信搜索并关注「 冰河技术 」微信公众号，跟冰河学习高并发编程技术。

最后，附上并发编程须要掌握的核心技能知识图，祝你们在学习并发编程时，少走弯路。