java系统高并发解决方案

一个小型的网站，好比我的网站，可使用最简单的html静态页面就实现了，配合一些图片达到美化效果，全部的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术通过这些年的发展，已经细分到很细的方方面面，尤为对于大型网站来讲，所采用的技术更是涉及面很是广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。

大型网站，好比门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。可是除了这几个方面，还无法根本解决大型网站面临的高负载和高并发问题。

上面提供的几个解决思路在必定程度上也意味着更大的投入，而且这样的解决思路具有瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来讲说个人一些经验。

一、HTML静态化

其实你们都知道，效率最高、消耗最小的就是纯静态化的html页面，因此咱们尽量使咱们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。可是对于大量内容而且频繁更新的网站，咱们没法所有手动去挨个实现，因而出现了咱们常见的信息发布系统CMS，像咱们常访问的各个门户站点的新闻频道，甚至他们的其余频道，都是经过信息发布系统来管理和实现的，信息发布系统能够实现最简单的信息录入自动生成静态页面，还能具有频道管理、权限管理、自动抓取等功能，对于一个大型网站来讲，拥有一套高效、可管理的CMS是必不可少的。

除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来讲，尽量的静态化也是提升性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再从新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。

同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询可是内容更新很小的应用，能够考虑使用html静态化来实现，好比论坛中论坛的公用设置信息，这些信息目前的主流论坛均可以进行后台管理而且存储再数据库中，这些信息其实大量被前台程序调用，可是更新频率很小，能够考虑将这部份内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。

二、图片服务器分离

你们知道，对于Web服务器来讲，无论是Apache、IIS仍是其余容器，图片是最消耗资源的，因而咱们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至不少台图片服务器。这样的架构能够下降提供页面访问请求的服务器系统压力，而且能够保证系统不会由于图片问题而崩溃，在应用服务器和图片服务器上，能够进行不一样的配置优化，好比apache在配置ContentType的时候能够尽可能少支持，尽量少的LoadModule，保证更高的系统消耗和执行效率。

三、数据库集群和库表散列

大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快没法知足应用，因而咱们须要使用数据库集群或者库表散列。

在数据库集群方面，不少数据库都有本身的解决方案，Oracle、Sybase等都有很好的方案，经常使用的MySQL提供的Master/Slave也是相似的方案，您使用了什么样的DB，就参考相应的解决方案来实施便可。

上面提到的数据库集群因为在架构、成本、扩张性方面都会受到所采用DB类型的限制，因而咱们须要从应用程序的角度来考虑改善系统架构，库表散列是经常使用而且最有效的解决方案。咱们在应用程序中安装业务和应用或者功能模块将数据库进行分离，不一样的模块对应不一样的数据库或者表，再按照必定的策略对某个页面或者功能进行更小的数据库散列，好比用户表，按照用户ID进行表散列，这样就可以低成本的提高系统的性能而且有很好的扩展性。sohu的论坛就是采用了这样的架构，将论坛的用户、设置、帖子等信息进行数据库分离，而后对帖子、用户按照板块和ID进行散列数据库和表，最终能够在配置文件中进行简单的配置便能让系统随时增长一台低成本的数据库进来补充系统性能。

四、缓存

缓存一词搞技术的都接触过，不少地方用到缓存。网站架构和网站开发中的缓存也是很是重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。 
架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了本身的缓存模块，也可使用外加的Squid模块进行缓存，这两种方式都可以有效的提升Apache的访问响应能力。 
网站程序开发方面的缓存，Linux上提供的Memory Cache是经常使用的缓存接口，能够在web开发中使用，好比用Java开发的时候就能够调用MemoryCache对一些数据进行缓存和通信共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各类语言基本都有本身的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也确定有。

五、镜像

镜像是大型网站常采用的提升性能和数据安全性的方式，镜像的技术能够解决不一样网络接入商和地域带来的用户访问速度差别，好比ChinaNet和EduNet之间的差别就促使了不少网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。在镜像的细节技术方面，这里不阐述太深，有不少专业的现成的解决架构和产品可选。也有廉价的经过软件实现的思路，好比Linux上的rsync等工具。

六、负载均衡

负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。

负载均衡技术发展了多年，有不少专业的服务提供商和产品能够选择，我我的接触过一些解决方法，其中有两个架构能够给你们作参考。

1）硬件四层交换

第四层交换使用第三层和第四层信息包的报头信息，根据应用区间识别业务流，将整个区间段的业务流分配到合适的应用服务器进行处理。 第四层交换功能就象是虚IP，指向物理服务器。它传输的业务服从的协议多种多样，有HTTP、FTP、NFS、Telnet或其余协议。这些业务在物理服务器基础上，须要复杂的载量平衡算法。在IP世界，业务类型由终端TCP或UDP端口地址来决定，在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。

在硬件四层交换产品领域，有一些知名的产品能够选择，好比Alteon、F5等，这些产品很昂贵，可是物有所值，可以提供很是优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了。

2）软件四层交换

你们知道了硬件四层交换机的原理后，基于OSI模型来实现的软件四层交换也就应运而生，这样的解决方案实现的原理一致，不过性能稍差。可是知足必定量的压力仍是游刃有余的，有人说软件实现方式其实更灵活，处理能力彻底看你配置的熟悉能力。

软件四层交换咱们可使用Linux上经常使用的LVS来解决，LVS就是Linux Virtual Server，他提供了基于心跳线heartbeat的实时灾难应对解决方案，提升系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，能够同时知足多种应用需求，这对于分布式的系统来讲必不可少。

一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建squid集群，这种思路在不少大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性，随时往架构里面增减节点都很是容易。这样的架构我准备空了专门详细整理一下和你们探讨。

一：高并发高负载类网站关注点之数据库

没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤为是Web2.0的应用，数据库的响应是首先要解决的。
通常来讲MySQL是最经常使用的，可能最初是一个mysql主机，当数据增长到100万以上，那么，MySQL的效能急剧降低。经常使用的优化措施是M-S（主-从）方式进行同步复制，将查询和操做和分别在不一样的服务器上进行操做。我推荐的是M-M-Slaves方式，2个主Mysql，多个Slaves，须要注意的是，虽然有2个Master，可是同时只有1个是Active，咱们能够在必定时候切换。之因此用2个M，是保证M不会又成为系统的SPOF。
Slaves能够进一步负载均衡，能够结合LVS,从而将select操做适当的平衡到不一样的slaves上。
以上架构能够抗衡到必定量的负载，可是随着用户进一步增长，你的用户表数据超过1千万，这时那个M变成了SPOF。你不能任意扩充Slaves，不然复制同步的开销将直线上升，怎么办？个人方法是表分区，从业务层面上进行分区。最简单的，以用户数据为例。根据必定的切分方式，好比id，切分到不一样的数据库集群去。

全局数据库用于meta数据的查询。缺点是每次查询，会增长一次，好比你要查一个用户nightsailer,你首先要到全局数据库群找到nightsailer对应的cluster id，而后再到指定的cluster找到nightsailer的实际数据。
每一个cluster能够用m-m方式，或者m-m-slaves方式。这是一个能够扩展的结构，随着负载的增长，你能够简单的增长新的mysql cluster进去。

须要注意的是：
一、禁用所有auto_increment的字段
二、id须要采用通用的算法集中分配
三、要具备比较好的方法来监控mysql主机的负载和服务的运行状态。若是你有30台以上的mysql数据库在跑就明白个人意思了。
四、不要使用持久性连接（不要用pconnect）,相反，使用sqlrelay这种第三方的数据库连接池，或者干脆本身作，由于php4中mysql的连接池常常出问题。

二：高并发高负载网站的系统架构之HTML静态化

其实你们都知道，效率最高、消耗最小的就是纯静态化 http://www.ablanxue.com/shtml/201207/776.shtml的html页面，因此咱们尽量使咱们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是 最有效的方法。可是对于大量内容而且频繁更新的网站，咱们没法所有手动去挨个实现，因而出现了咱们常见的信息发布系统CMS，像咱们常访问的各个门户站点 的新闻频道，甚至他们的其余频道，都是经过信息发布系统来管理和实现的，信息发布系统能够实现最简单的信息录入自动生成静态页面，还能具有频道管理、权限 管理、自动抓取等功能，对于一个大型网站来讲，拥有一套高效、可管理的CMS是必不可少的。
　　
　　除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来讲，尽量的静态化也是提升性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再从新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。
　　
　 　同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询可是内容更新很小的应用，能够考虑使用html静态化来实现，好比论坛 中论坛的公用设置信息，这些信息目前的主流论坛均可以进行后台管理而且存储再数据库中，这些信息其实大量被前台程序调用，可是更新频率很小，能够考虑将这 部份内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求高并发。
　　

网站HTML静态化解决方案 
当一个Servlet资源请求到达WEB服务器以后咱们会填充指定的JSP页面来响应请求:

HTTP请求---Web服务器---Servlet--业务逻辑处理--访问数据--填充JSP--响应请求

HTML静态化以后:

HTTP请求---Web服务器---Servlet--HTML--响应请求

静态访求以下

Servlet:

public void doGet(HttpServletRequest request, HttpServletResponse response)  
        throws ServletException, IOException {  
    if(request.getParameter("chapterId") != null){  
        String chapterFileName = "bookChapterRead_"+request.getParameter("chapterId")+".html";  
        String chapterFilePath = getServletContext().getRealPath("/") + chapterFileName;  
        File chapterFile = new File(chapterFilePath);  
        if(chapterFile.exists()){response.sendRedirect(chapterFileName);return;}//若是有这个文件就告诉浏览器转向   
        INovelChapterBiz novelChapterBiz = new NovelChapterBizImpl();  
        NovelChapter novelChapter = novelChapterBiz.searchNovelChapterById(Integer.parseInt(request.getParameter("chapterId")));//章节信息   
        int lastPageId = novelChapterBiz.searchLastCHapterId(novelChapter.getNovelId().getId(), novelChapter.getId());  
        int nextPageId = novelChapterBiz.searchNextChapterId(novelChapter.getNovelId().getId(), novelChapter.getId());  
        request.setAttribute("novelChapter", novelChapter);  
        request.setAttribute("lastPageId", lastPageId);  
        request.setAttribute("nextPageId", nextPageId);  
        new CreateStaticHTMLPage().createStaticHTMLPage(request, response, getServletContext(),   
                chapterFileName, chapterFilePath, "/bookRead.jsp");  
    }  
}  
生成HTML静态页面的类:

package com.jb.y2t034.thefifth.web.servlet;  
import java.io.ByteArrayOutputStream;  
import java.io.FileOutputStream;  
import java.io.IOException;  
import java.io.OutputStreamWriter;  
import java.io.PrintWriter;  
import javax.servlet.RequestDispatcher;  
import javax.servlet.ServletContext;  
import javax.servlet.ServletException;  
import javax.servlet.ServletOutputStream;  
import javax.servlet.http.HttpServletRequest;  
import javax.servlet.http.HttpServletResponse;  
import javax.servlet.http.HttpServletResponseWrapper;  
/** 
* 建立HTML静态页面 
* 功能：建立HTML静态页面 
* 时间：2009年1011日 
* 地点：home 
* @author mavk 
* 
*/  
public class CreateStaticHTMLPage {  
    /** 
     * 生成静态HTML页面的方法 
     * @param request 请求对象 
     * @param response 响应对象 
     * @param servletContext Servlet上下文 
     * @param fileName 文件名称 
     * @param fileFullPath 文件完整路径 
     * @param jspPath 须要生成静态文件的JSP路径(相对便可) 
     * @throws IOException 
     * @throws ServletException 
     */  
    public void createStaticHTMLPage(HttpServletRequest request, HttpServletResponse response,ServletContext servletContext,String fileName,String fileFullPath,String jspPath) throws ServletException, IOException{  
        response.setContentType("text/html;charset=gb2312");//设置HTML结果流编码(即HTML文件编码)   
        RequestDispatcher rd = servletContext.getRequestDispatcher(jspPath);//获得JSP资源   
        final ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();//用于从ServletOutputStream中接收资源   
        final ServletOutputStream servletOuputStream = new ServletOutputStream(){//用于从HttpServletResponse中接收资源   
            public void write(byte[] b, int off,int len){  
                byteArrayOutputStream.write(b, off, len);  
            }  
            public void write(int b){  
                byteArrayOutputStream.write(b);  
            }  
        };  
        final PrintWriter printWriter = new PrintWriter(new OutputStreamWriter(byteArrayOutputStream));//把转换字节流转换成字符流   
        HttpServletResponse httpServletResponse = new HttpServletResponseWrapper(response){//用于从response获取结果流资源(重写了两个方法)   
            public ServletOutputStream getOutputStream(){  
                return servletOuputStream;  
            }  
            public PrintWriter getWriter(){  
                return printWriter;  
            }  
        };  
        rd.include(request, httpServletResponse);//发送结果流   
        printWriter.flush();//刷新缓冲区，把缓冲区的数据输出   
        FileOutputStream fileOutputStream = new FileOutputStream(fileFullPath);  
        byteArrayOutputStream.writeTo(fileOutputStream);//把byteArrayOuputStream中的资源所有写入到fileOuputStream中   
        fileOutputStream.close();//关闭输出流，并释放相关资源   
        response.sendRedirect(fileName);//发送指定文件流到客户端   
    }  
} 

三：高并发高负载类网站关注点之缓存、负载均衡、存储

缓存是另外一个大问题，我通常用memcached来作缓存集群，通常来讲部署10台左右就差很少（10g内存池）。须要注意一点，千万不能用使用
swap，最好关闭linux的swap。

负载均衡/加速

可能上面说缓存的时候，有人第一想的是页面静态化，所谓的静态html，我认为这是常识，不属于要点了。页面的静态化随之带来的是静态服务的
负载均衡和加速。我认为Lighttped+Squid是最好的方式了。
LVS <------->lighttped====>squid(s) ====lighttpd

上面是我常常用的。注意，我没有用apache，除非特定的需求，不然我不部署apache，由于我通常用php-fastcgi配合lighttpd,
性能比apache+mod_php要强不少。

squid的使用能够解决文件的同步等等问题，可是须要注意，你要很好的监控缓存的命中率，尽量的提升的90%以上。
squid和lighttped也有不少的话题要讨论，这里不赘述。

存储
存储也是一个大问题，一种是小文件的存储，好比图片这类。另外一种是大文件的存储，好比搜索引擎的索引，通常单文件都超过2g以上。
小文件的存储最简单的方法是结合lighttpd来进行分布。或者干脆使用Redhat的GFS，优势是应用透明，缺点是费用较高。我是指
你购买盘阵的问题。个人项目中，存储量是2-10Tb，我采用了分布式存储。这里要解决文件的复制和冗余。
这样每一个文件有不一样的冗余，这方面能够参考google的gfs的论文。
大文件的存储，能够参考nutch的方案，如今已经独立为Hadoop子项目。(你能够google it)

其余：
此外，passport等也是考虑的，不过都属于比较简单的了。
四：高并发高负载网站的系统架构之图片服务器分离 
你们知道，对于Web 服务器来讲，无论是Apache、IIS仍是其余容器，图片是最消耗资源的，因而咱们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他 们都有独立的图片服务器，甚至不少台图片服务器。这样的架构能够下降提供页面访问请求的服务器系统压力，而且能够保证系统不会由于图片问题而崩溃，在应用 服务器和图片服务器上，能够进行不一样的配置优化，好比apache在配置ContentType的时候能够尽可能少支持，尽量少的LoadModule， 保证更高的系统消耗和执行效率。

利用Apache实现图片服务器的分离
原因： 
起步阶段的应用，均可能部署在一台服务器上（费用上的缘由） 
第一个优先分离的，确定是数据库和应用服务器。 
第二个分离的，会是什么呢？各有各的考虑，我所在的项目组重点考虑的节约带宽，服务器性能再好，带宽再高，并发来了，也容易撑不住。所以，我这篇文章的重点在这里。这里重点是介绍实践，不必定符合全部状况，供看者参考吧， 
环境介绍： 
WEB应用服务器：4CPU双核2G, 内存4G 
  部署：Win2003/Apache Http Server 2.1/Tomcat6 
数据库服务器：4CPU双核2G, 内存4G 
  部署：Win2003/MSSQL2000 
步骤： 
步骤一：增长2台配置为：2CPU双核2G，内存2G普通服务器，作资源服务器 
  部署：Tomcat6，跑了一个图片上传的简单应用，（记得指定web.xml的<distributable/>），并指定域名为res1.***.com,res2.***.com，采用ajp协议 
步骤二：修改Apache httpd.conf配置 
  原来应用的文件上传功能网址为： 
   一、/fileupload.html 
   二、/otherupload.html 
  在httpd.conf中增长以下配置

<VirtualHost *:80>   
  ServerAdmin webmaster@***.com   
  ProxyPass /fileupload.html balancer://rescluster/fileupload lbmethod=byrequests stickysession=JSESSIONID nofailover=Off timeout=5 maxattempts=3      
  ProxyPass /otherupload.html balancer://rescluster/otherupload.html lbmethod=byrequests stickysession=JSESSIONID nofailover=Off timeout=5 maxattempts=3      
  #<!--负载均衡-->   
  <Proxy balancer://rescluster/>   
    BalancerMember ajp://res1.***.com:8009 smax=5 max=500 ttl=120 retry=300 loadfactor=100 route=tomcat1  
    BalancerMember ajp://res2.***.com:8009 smax=5 max=500 ttl=120 retry=300 loadfactor=100 route=tomcat2  
  </Proxy>   
   
< /VirtualHost>  
步骤三，修改业务逻辑： 
  全部上传文件在数据库中均采用全url的方式保存，例如产品图片路径存成：http://res1.***.com/upload/20090101/product120302005.jpg

如今，你能够高枕无忧了，带宽不够时，增长个几十台图片服务器，只须要稍微修改一下apache的配置文件，便可。

五：高并发高负载网站的系统架构之数据库集群和库表散列

大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快没法知足应用，因而咱们须要使用数据库集群或者库表散列。
　　
　　在数据库集群方面，不少数据库都有本身的解决方案，Oracle、Sybase等都有很好的方案，经常使用的MySQL提供的Master/Slave也是相似的方案，您使用了什么样的DB，就参考相应的解决方案来实施便可。
　　
　 　上面提到的数据库集群因为在架构、成本、扩张性方面都会受到所采用DB类型的限制，因而咱们须要从应用程序的角度来考虑改善系统架构，库表散列是经常使用并 且最有效的解决方案。咱们在应用程序中安装业务和应用或者功能模块将数据库进行分离，不一样的模块对应不一样的数据库或者表，再按照必定的策略对某个页面或者 功能进行更小的数据库散列，好比用户表，按照用户ID进行表散列，这样就可以低成本的提高系统的性能而且有很好的扩展性。sohu的论坛就是采用了这样的 架构，将论坛的用户、设置、帖子等信息进行数据库分离，而后对帖子、用户按照板块和ID进行散列数据库和表，最终能够在配置文件中进行简单的配置便能让系 统随时增长一台低成本的数据库进来补充系统性能。

集群软件的分类：
通常来说，集群软件根据侧重的方向和试图解决的问题，分为三大类：高性能集群（High performance cluster，HPC）、负载均衡集群（Load balance cluster， LBC），高可用性集群（High availability cluster，HAC）。
高性能集群（High performance cluster，HPC），它是利用一个集群中的多台机器共同完成同一件任务，使得完成任务的速度和可靠性都远远高于单机运行的效果。弥补了单机性能上的不足。该集群在天气预报、环境监控等数据量大，计算复杂的环境中应用比较多；
负载均衡集群（Load balance cluster， LBC），它是利用一个集群中的多台单机，完成许多并行的小的工做。通常状况下，若是一个应用使用的人多了，那么用户请求的响应时间就会增大，机器的性能也会受到影响，若是使用负载均衡集群，那么集群中任意一台机器都能响应用户的请求，这样集群就会在用户发出服务请求以后，选择当时负载最小，可以提供最好的服务的这台机器来接受请求并相应，这样就可用用集群来增长系统的可用性和稳定性。这类集群在网站中使用较多；
高可用性集群（High availability cluster，HAC），它是利用集群中系统 的冗余，当系统中某台机器发生损坏的时候，其余后备的机器能够迅速的接替它来启动服务，等待故障机的维修和返回。最大限度的保证集群中服务的可用性。这类系统通常在银行，电信服务这类对系统可靠性有高的要求的领域有着普遍的应用。
2 数据库集群的现状
数据库集群是将计算机集群技术引入到数据库中来实现的，尽管各厂商宣称本身的架构如何的完美，可是始终不能改变Oracle当先，你们追逐的事实，在集群的解决方案上Oracle RAC仍是领先于包括微软在内的其它数据库厂商，它能知足客户高可用性、高性能、数据库负载均衡和方便扩展的需求。
Oracle’s Real Application Cluster (RAC)
Microsoft SQL Cluster Server (MSCS)
IBM’s DB2 UDB High Availability Cluster(UDB)
Sybase ASE High Availability Cluster (ASE)
MySQL High Availability Cluster (MySQL CS)
基于IO的第三方HA(高可用性)集群
当前主要的数据库集群技术有以上六大类，有数据库厂商本身开发的；也有第三方的集群公司开发的；还有数据库厂商与第三方集群公司合做开发的，各种集群实现的功能及架构也不尽相同。
RAC（Real Application Cluster，真正应用集群）是Oracle9i数据库中采用的一项新技术，也是Oracle数据库支持网格计算环境的核心技术。它的出现解决了传统数据库应用中面临的一个重要问题：高性能、高可伸缩性与低价格之间的矛盾。在很长一段时间里，甲骨文都以其实时应用集群技术(Real Application Cluster，RAC)统治着集群数据库市场

六：高并发高负载网站的系统架构之缓存

缓存一词搞技术的都接触过，不少地方用到缓存。网站架构和网站开发中的缓存也是很是重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。 
　　架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了本身的缓存模块，也可使用外加的Squid模块进行缓存，这两种方式都可以有效的提升Apache的访问响应能力。
　 　网站程序开发方面的缓存，Linux上提供的Memory Cache是经常使用的缓存接口，能够在web开发中使用，好比用Java开发的时候就能够调用MemoryCache对一些数据进行缓存和通信共享，一些大 型社区使用了这样的架构。另外，在使用web语言开发的时候，各类语言基本都有本身的缓存模块和方法，PHP有Pear的Cache模块，Java就更多 了，.net不是很熟悉，相信也确定有。

Java开源缓存框架 
JBossCache/TreeCache JBossCache是一个复制的事务处理缓存，它容许你缓存企业级应用数据来更好的改善性能。缓存数据被自动复制，让你轻松进行Jboss服务器之间的集群工做。JBossCache可以经过Jboss应用服务或其余J2EE容器来运行一个Mbean服务，固然，它也能独立运行。 JBossCache包括两个模块：TreeCache和TreeCacheAOP。 TreeCache --是一个树形结构复制的事务处理缓存。 TreeCacheAOP --是一个“面向对象”缓存，它使用AOP来动态管理POJO
OSCache OSCache标记库由OpenSymphony设计，它是一种开创性的JSP定制标记应用，提供了在现有JSP页面以内实现快速内存缓冲的功能。OSCache是个一个普遍采用的高性能的J2EE缓存框架，OSCache能用于任何Java应用程序的普通的缓存解决方案。OSCache有如下特色：缓存任何对象，你能够不受限制的缓存部分jsp页面或HTTP请求，任何java对象均可以缓存。 拥有全面的API--OSCache API给你全面的程序来控制全部的OSCache特性。 永久缓存--缓存能随意的写入硬盘，所以容许昂贵的建立（expensive-to-create）数据来保持缓存，甚至能让应用重启。 支持集群--集群缓存数据能被单个的进行参数配置，不须要修改代码。 缓存记录的过时--你能够有最大限度的控制缓存对象的过时，包括可插入式的刷新策略（若是默认性能不须要时）。
JCACHE JCACHE是一种即将公布的标准规范（JSR 107），说明了一种对Java对象临时在内存中进行缓存的方法，包括对象的建立、共享访问、假脱机（spooling）、失效、各JVM的一致性等。它可被用于缓存JSP内最常常读取的数据，如产品目录和价格列表。利用JCACHE，多数查询的反应时间会由于有缓存的数据而加快（内部测试代表反应时间大约快15倍）。
Ehcache Ehcache出自hibernate，在Hibernate中使用它做为数据缓存的解决方案。
Java Caching System JCS是Jakarta的项目Turbine的子项目。它是一个复合式的缓冲工具。能够将对象缓冲到内存、硬盘。具备缓冲对象时间过时设定。还能够经过JCS构建具备缓冲的分布式构架，以实现高性能的应用。 对于一些须要频繁访问而每访问一次都很是消耗资源的对象，能够临时存放在缓冲区中，这样能够提升服务的性能。而JCS正是一个很好的缓冲工具。缓冲工具对于读操做远远多于写操做的应用性能提升很是显著。
SwarmCache SwarmCache是一个简单而功能强大的分布式缓存机制。它使用IP组播来有效地在缓存的实例之间进行通讯。它是快速提升集群式Web应用程序的性能的理想选择。
ShiftOne ShiftOne Object Cache这个Java库提供了基本的对象缓存能力。实现的策略有先进先出（FIFO），最近使用（LRU），最不常使用（LFU）。全部的策略能够最大化元素的大小，最大化其生存时间。
WhirlyCache Whirlycache是一个快速的、可配置的、存在于内存中的对象的缓存。它可以经过缓存对象来加快网站或应用程序的速度，不然就必须经过查询数据库或其余代价较高的处理程序来创建。
Jofti Jofti可对在缓存层中(支持EHCache，JBossCache和OSCache)的对象或在支持Map接口的存储结构中的对象进行索引与搜索。这个框架还为对象在索引中的增删改提供透明的功能一样也为搜索提供易于使用的查询功能。
cache4j cache4j是一个有简单API与实现快速的Java对象缓存。它的特性包括：在内存中进行缓存，设计用于多线程环境，两种实现：同步与阻塞，多种缓存清除策略：LFU, LRU, FIFO，可以使用强引用(strong reference)与软引用(soft reference)存储对象。
Open Terracotta 一个JVM级的开源群集框架，提供：HTTP Session复制，分布式缓存，POJO群集，跨越群集的JVM来实现分布式应用程序协调(采用代码注入的方式，因此你不须要修改任何)。
sccache SHOP.COM使用的对象缓存系统。sccache是一个in-process cache和二级、共享缓存。它将缓存对象存储到磁盘上。支持关联Key，任意大小的Key和任意大小的数据。可以自动进行垃圾收集。
Shoal Shoal是一个基于Java可扩展的动态集群框架，可以为构建容错、可靠和可用的Java应用程序提供了基础架构支持。这个框架还能够集成到不但愿绑定到特定通讯协议，但须要集群和分布式系统支持的任何Java产品中。Shoal是GlassFish和JonAS应用服务器的集群引擎。
Simple-spring-Memcached Simple-Spring-Memcached，它封装了对MemCached的调用，使MemCached的客户端开发变得超乎寻常的简单。