tomcat集群-群猫乱舞（转）

时间 2019-11-30

标签 tomcat 集群乱舞栏目 Tomcat 繁體版

原文原文链接

1、为什么要集群

单台App Server再强劲，也有其瓶劲，先来看一下下面这个真实的场景。javascript

当时这个工程是这样的，tomcat这一段被称为web zone，里面用spring+ws，还装了一个jboss的规则引擎Guvnor5.x，所有是ws没有service layer也没有dao layer。css

而后App Zone这边是weblogic，传输用的是spring rmi，而后App Zone这块所有是service layer, dao layer和数据库打交道。html

用户这边用的是.net，以ws和web zone连的。java

时间一长，数据一多，就出问题了。web

拿Loader Runner跑下来，发觉是Web Zone这块，App Server已经被用到极限了。由于客户钱很少，因此当时的Web Zone是2台服务器，且都是32位的，内存很多，有8GB，测试下来后发觉cpu loader又不高，可是web server这边的吞吐量始终上不去，且和.net客户端那边响应愈来愈慢。spring

分析了一下缘由：单台tomcat可以承受的最大负载已经到头了，单台tomcat的吞吐量就这么点，还要负担Guvnor的运行，Guvnor内有数百条业务规则要执行。数据库

再看了一下其它方面的代码、SQL调优都已经到了极限了，因此最后没办法，客户又不愿拿钱投在内存和新机器上或者是再买台Weblogic，只能取舍一下，搞Tomcat集群了。apache

2、集群分类

Tomcat做集群的逻辑架构是上面这样的一张图，关键是咱们的production环境还须要规划好咱们的物理架构。tomcat

2.1 横向集群

好比说，有两台Tomcat，分别运行在2台物理机上，好处是最大的即CPU扩展，内存也扩展了，处理能力也扩展了。服务器

2.2 纵向集群

即，两个Tomcat的实例运行在一台物理器上，充分利用原有内存，CPU未获得扩展。

2.3 横向仍是纵向

通常来讲，广为人们接受的是横向扩展的集群，可作大规模集群布署。可是咱们这个case受制于客户即：

ü 不会再投入新机器了

ü 不会增长内存了

可是呢，经过压力测试报告咱们可知：

ü 原有TomcatServer的CPU Loader不高，在23%左右

ü 原有TomcatServer上有8GB内存，并且是32位的，单台Tomcat只使用了1800MB左右的内存

ü 网络流量不高，单块千兆以太网卡彻底能够处理掉

所以，咱们只能作熊掌与鱼不能兼得的事，即采用了：纵向集群。

2.4 Load Balance与High Available

ü Load Balance

简称LB即负载均衡，至关于1000根线程每一个集群节点：Node负责处理500个，这样的效率是最高的。

ü High Available

简称HA即高可用性，至关于1000根线程仍是交给一台机器去慢慢处理，若是这台机器崩了，另外一台机器顶上。

3、集群架构中须要解决的问题

集群规划好了怎么分，这不等于就能够开始实现集群了，一旦你的系统实现了集群，随之而来的问题就会出现了。

咱们原有系统中有这样几个问题，在集群环境中是须要解决的，来看：

3.1 解决上传文件同步的问题

集群后就是两个Tomcat了，即和两个线程读同一个resource的问题是同样的，还好，咱们原有上传文件是专门有一台文件伺服器的，这个问题不大，两个tomcat都往一台file server里上传，文件伺服器已经帮咱们解决了同名文件冲突的这个问题了，若是原先的作法是把文件上传到Tomcat的目录中，那问题就大了，来看：

集群环境中，对于用户来讲一切操做都是透明的，他也不知道我有几个Tomcat的实例运行在那边。

用户一点上传，可能上传到了Tomcat2中，可是下次要显示这个文件时，可能用到的是Tomcat1内的jsp或者是class，对不对？

因而，由于你把图片存在了Tomcat的目录中，所以致使了Tomcat1在显示图片时，取不到Tomcat2目录中存放的图片。

所以咱们在工程一开始就强调存图片时要用一台专门的文件服务器或者是FTP服务器来存，就是为了不未来出现这样的问题。

3.2 解决Quartz在集群环境中的同步问题

咱们的系统用到一个Quartz（一个定时服务组件）来定时触发一些自动机制，如今有了两个Tomcat，粗想一想每一个Tomcat里运行本身的Quartz不就好了？

可是问题来了，若是两个Quartz在同一时间都触发了处理同一条定单，即该条定单会被处理两边。。。这不是影响效率和增长出错机率了吗？

由于自己Quartz所承受的压力几乎能够忽略不计的，它只是定时会触发脚本去运行，关键在于这个定时脚本的同步性，一致性的问题上。

咱们曾想过的解决方法：

咱们可让一个Tomcat布署Quartz，另外一个Tomcat里不布署Quartz

但这样作的结果就是若是布署Quartz的这个Tomcat崩溃掉了，这个Quartz是否是也崩啦？

最后解决的办法：

因此咱们仍是必须在两台Tomcat里布署Quartz，而后使用HA的原则，即一个Quartz在运行时，另外一台Quartz在监视着，而且不断的和另外一个Quartz之间保持勾通，一旦运行着的Quartz崩掉了，另外一个Quartz在指定的秒数内起来接替原有的Quartz继续运行，对于Quartz，咱们一样也是面临着一个熊掌与鱼不能皆得的问题了，Quartz自己是支持集群的，而它支持的集群方式正是HA，和咱们想的是一致的。

具体Quartz是如何在集群环境下做布署的，请见个人另外一篇文章：quartz在集群环境下的最终解决方案

解决了上述的问题后基本咱们能够开始布署Tomcat这个集群了。

4、布署Tomcat集群

准备两个版本一致的Tomcat，分别起名为tomcat1，tomcat2。

4.1 Apache中的配置

² worker.properties文件内容的修改

打开Apache HttpServer中的apache安装目录/conf/work.properties文件，你们还记得这个文件吗？

这是原有文件内容：

workers.tomcat_home=d:/tomcat2

workers.java_home=C:/jdk1.6.32

ps=/

worker.list=ajp13

worker.ajp13.port=8009

worker.ajp13.host=localhost

worker.ajp13.type=ajp13

如今开始改动成下面这样的内容（把原有的worker.properties中的内容前面都加上#注释掉）：

#workers.tomcat_home=d:/tomcat2

#workers.java_home=C:/jdk1.6.32

#ps=/

#worker.list=ajp13

#worker.ajp13.port=8009

#worker.ajp13.host=localhost

#worker.ajp13.type=ajp13

worker.list = controller

#tomcat1

worker.tomcat1.port=8009

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

worker.tomcat1.lbfactor=1

#tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor=1

#========controller========

worker.controller.type=lb

worker.controller.balance_workers=tomcat1,tomcat2

worker.lbcontroller.sticky_session=0

worker.controller.sticky_session_force=true

worker.connection_pool_size=3000

worker.connection_pool_minsize=50

worker.connection_pool_timeout=50000

上面的这些设置的意思用中文来表达就是：

ü 两个tomcat，都位于localhost

ü 两个tomcat,tomcat1用8009，tomcat2用9009与apache保持jk_mod的通信

ü 不采用sticky_session的机制

sticky_session即：假设如今用户正连着tomcat1，而tomcat1崩了，那么此时它的session应该被复制到tomcat2上，由tomcat2继续负责该用户的操做，这就是load balance，此时这个用户因该能够继续操做。

若是你的sticky_session设成了1，那么当你连的这台tomcat崩了后，你的操做由于是sticky（粘）住被指定的集群节点的，所以你的session是不会被复制和同步到另外一个还存活着的tomcat节点上的。

ü 两台tomcat被分派到的任务的权重(lbfactor)为一致

你也能够设tomcat1 的worker.tomcat2.lbfactor=10，而tomcat2的worker.tomcat2.lbfactor=2，这个值越高，该tomcat节点被分派到的任务数就越多

² httpd.conf文件内容的修改

找到下面这一行：

Include conf/extra/httpd-ssl.conf

咱们将它注释掉，由于咱们在集群环境中不打算采用https，若是采用是https也同样，只是为了减省开销（不少人都是用本身的开发电脑在作实验哦）。

#Include conf/extra/httpd-ssl.conf

找到原来的“<VirtualHost>”段

改为以下形式：

DocumentRoot d:/www

AllowOverride None

Order allow,deny

Allow from all

</Directory>

Order deny,allow

Deny from all

</Directory>

ServerAdmin localhost

DocumentRoot d:/www/

ServerName shnlap93:80

DirectoryIndex index.html index.htm index.jsp index.action

ErrorLog logs/shsc-error_log.txt

CustomLog logs/shsc-access_log.txt common

JkMount /*WEB-INF controller

JkMount /*j_spring_security_check controller

JkMount /*.action controller

JkMount /servlet/* controller

JkMount /*.jsp controller

JkMount /*.do controller

JkMount /*.action controller

JkMount /*fckeditor/editor/filemanager/connectors/*.* controller

JkMount /fckeditor/editor/filemanager/connectors/* controller

</VirtualHost>

注意：

原来的JKMount *** 后的 ajp13变成了什么了？

controller

4.2 tomcat中的配置

能够拿原有的tomcat复制成另外一个tomcat，分别为d:\tomcat, d:\tomcat2。

打开tomcat中的conf目录中的server.xml，找到下面这行

1）

记得：

必定要把tomcat2中的这边的”SHUTDOWN”的port改为另外一个端口号，两个tomcat若是是在集群环境中，此处的端口号毫不能同样。

2）找到

<Connector port="8080" protocol="HTTP/1.1"

确保tomcat2中此处的端口不能为8080，咱们就使用9090这个端口吧

3）把两个tomcat中原有的https的配置，整段去除

4）找到

<Connector port="8080" protocol="HTTP/1.1"

URIEncoding="UTF-8" minSpareThreads="25" maxSpareThreads="75"

enableLookups="false" disableUploadTimeout="true" connectionTimeout="20000"

acceptCount="300" maxThreads="300" maxProcessors="1000" minProcessors="5"

useURIValidationHack="false"

compression="on" compressionMinSize="2048"

compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain"

redirectPort="8443" />

确保tomcat2中这边的redirectPort为9443

5）找到

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443"

改成：

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443"

URIEncoding="UTF-8" minSpareThreads="25" maxSpareThreads="75"

enableLookups="false" disableUploadTimeout="true" connectionTimeout="20000"

acceptCount="300" maxThreads="300" maxProcessors="1000" minProcessors="5"

useURIValidationHack="false"

compression="on" compressionMinSize="2048"

compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain"

确保tomcat2的server.xml中此处的8009被改为了9009且其它内容与上述内容一致（redirectPort不要忘了改为9443）

6）找到

改为

<!-- You should set jvmRoute to support load-balancing via AJP ie :

-->

同时把tomcat2中此处内容改为

<!-- You should set jvmRoute to support load-balancing via AJP ie :

-->

7）

在刚才的

的下面与在

<!-- The request dumper valve dumps useful debugging information about

the request and response data received and sent by Tomcat.

Documentation at: /docs/config/valve.html -->

<!--

-->

之上，在这之间加入以下一大陀的东西：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="6">

<Manager className="org.apache.catalina.ha.session.BackupManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"

mapSendOptions="6"/>

<Membership className="org.apache.catalina.tribes.membership.McastService"

bind="127.0.0.1"

address="228.0.0.4"

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="4001"

selectorTimeout="100"

maxThreads="6"/>

</Sender>

</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

</Cluster>

此处有一个Receiver port=”xxxx”，两个tomcat中此处的端口号必须惟一，即tomcat中咱们使用的是port=4001，那么咱们在tomcat2中将使用port=4002

8）把系统环境变动中的CATALINA_HOME与TOMCAT_HOME这两个变量去除掉

9）在每一个tomcat的webapps目录下布署一样的一个工程，在布署工程前先确保你把工程中的WEB-INF\we b.xml文件作了以下的修改，在web.xml文件的最未尾即“</web-app>”这一行前加入以下的一行：

使该工程中的session能够被tomcat的集群节点进行轮循复制。

4.3 启动集群

好了，如今启动tomcat1, 启动tomcat2（其实无所谓顺序的），来看效果：

分别访问http://localhost:8080/cbbs与http://localhost:9090/cbbs

确保两个tomcat节点都起来了，而后此时，咱们启动Apache

而后访问直接用http://localhost/cbbs不加端口的形式访问：

用sally/abcdefg登陆，瞧，应用起来了。

而后咱们拿另外一台物理客户端，登陆这个web应用，咱们能够看到：

第一个tomcat正在负责处理咱们第一次登陆的请求。

当有第二个HTTP请求时，另外一个tomcat自动开始肩负起咱们第二个HTTP请求了，这就是Load Balance。

1. Tomcat -- apache+tomcat集群
2. APACHE+TOMCAT集群
3. apache tomcat 集群！
4. tomcat集群
5. Apache & Tomcat 集群
6. Nginx + tomcat 集群
7. Ngnix+Tomcat集群
8. Tomcat 集群
9. Tomcat集群
10. windows Tomcat集群，Nginx集群，Tomcat+Nginx 负载均衡配置，Tomcat+Nginx集群
更多相关文章...
• Swarm 集群管理 - Docker教程
• Docker 安装 Tomcat - Docker教程
• Tomcat学习笔记（史上最全tomcat学习笔记）
• Scala 中文乱码解决