Tomcat设置最佳线程数总结

最佳线程数:

性能压测的状况下，起初随着用户数的增长，QPS会上升，当到了必定的阀值以后，用户数量增长QPS并不会增长，或者增长不明显，同时请求的响应时间却大幅增长。这个阀值咱们认为是最佳线程数。

 

为何要找最佳线程数:

1.过多的线程只会形成，更多的内存开销，更多的CPU开销，可是对提高QPS确毫无帮助

2.找到最佳线程数后经过简单的设置，可让web系统更加稳定，获得最高，最稳定的QPS输出

 

最佳线程数的获取：

一、经过用户慢慢递增来进行性能压测，观察QPS，响应时间

二、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

三、单用户压测，查看CPU的消耗，而后直接乘以百分比，再进行压测，通常这个值的附近应该就是最佳线程数量。

 

影响最佳线程数的主要因素：

一、IO

二、CPU

根据公式：服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

通常来讲是IO和CPU。IO开销较多的应用其CPU线程等待时间会比较长，因此线程数量能够开的多一些，相反则线程数量要少一些，其实有两种极端，纯IO的应用，好比proxy，则线程数量能够开到很是大（实在太大了则须要考虑线程切换的开销），这种应用基本上后端（好比这个proxy是代理搜索的）的QPS能有多少，proxy就有多少。

另外一种是耗CPU的计算，这种状况通常来说只能开到CPU个数的线程数量。可是并非说这种应用的QPS就不高，每每这种应用的QPS能够很高。

 

QPS和线程数的关系

一、在最佳线程数量以前，QPS和线程是互相递增的关系，线程数量到了最佳线程以后，QPS持平，不在上升，甚至略有降低，同时相应时间持续上升。

二、同一个系统而言，支持的线程数越多（最佳线程数越多而不是配置的线程数越多），QPS越高

 

QPS和响应时间的关系

一、对于通常的web系统，响应时间通常有CPU执行时间+IO等待时间组成

二、CPU的执行时间减小，对QPS有实质的提高，IO时间的减小，对QPS提高不明显。若是要想明显提高QPS，优化系统的时候要着重优化CPU消耗大户。

 

最佳线程数和jvm堆内存得关系：

以上都是依据性能瓶颈在CPU的状况，对于java应用还有一个因素是FULL GC，咱们要保证在最佳线程数量下，不会发生频繁FULL GC

根据公式：：(小GC时间间隔/rt)*(并发线程数量 * thm) <=young 计算获得的并发线程数量若是<最佳线程数量 则可能致使FULL GC较频繁，实际状况看来这种状况在web系统上很是少。不过能够模拟出来。

因此咱们在设置jboss线程的时候，能够利用内存公式计算出来的线程数量来设置，经过压测和计算获得最佳线程数，而后设置线程数。

 

设置线程数量：

压测最佳线程数<真实设置的线程数量<内存极限线程数

好比，经过压测获得某系统的最佳线程数量是10，而后经过内存计算的线程数量是20，则，设置jboss的线程数量为15是可行的，若是直接设置了10，因为系统自己会受到一些依赖系统的变化而产生一些变化，好比系统依赖一些IO的响应时间会忽然延长，因为线程数量仍是10，其实这个时候最佳线程数量已经变成了13了，因为咱们设置死了10，其结果就是致使qps降低，可是若是超过20，则又会引发FULL gc很是频繁，反过来影响QPS的降低。

 

jboss的线程数设置：

对于jboss而言，设置线程数量要看使用了那种线程链接，如http、ajp等

http和ajp的设置是彻底同样的，很是简单：

以ajp为例，找到server.xml或者tomcat-server.xml:

默认线程数量是200个

 <Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3" maxThreads="200" minSpareThreads="40" maxSpareThreads="75" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>

这里将默认的线程数量改为了20，固然相应的其余最小空闲线程数和最大空闲线程数也作一下调整：

<Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3" maxThreads="20" minSpareThreads="20" maxSpareThreads="20" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>