异步 Servlet 和同步 Servlet 的性能测试

前言

最近在看 Servlet 3 的异步特性，在网上看了一些文章，有些不解，遂作了一些测试，测试的模拟场景：Web 容器工做线程较少，接口逻辑复杂耗时。

这个场景是大部分的业务场景，例如：Tomcat 的工做线程是 200，业务接口须要远程 RPC 调用，或者访问数据库进行复杂计算等耗时操做。

因此，仍是比较有参考价值的。

如何测试？

工具：idea，jmeter。

服务端 idea：SpringBoot 默认容器 Tomcat，修改线程数为 2，没错就是 2，为了放大工做线程较少的 场景。同时，准备两个接口：异步接口和同步接口，分别模拟耗时 500ms。

代码以下：

1, 异步接口

@ResponseBody
@Controller
@RequestMapping("async")
public class AsyncTestDemo {

  static ExecutorService workerPool = Executors.newFixedThreadPool(1000);

  @RequestMapping("async")
  public DeferredResult<String> async() {
    DeferredResult<String> defer = new DeferredResult<>((long) 120000);
    workerPool.submit(() -> {
      try {
        Thread.sleep(500);
      } catch (InterruptedException e) {
        e.printStackTrace();
      }
      defer.setResult("hello async");
    });
    return defer;
  }
}

2, 同步接口

@ResponseBody
@Controller
@RequestMapping("sync")
class SyncTestDemo{

  static ExecutorService workerPool =  Executors.newFixedThreadPool(1000);

  @RequestMapping("/sync")
  public String sync() throws ExecutionException, InterruptedException {
    Future<String> future = workerPool.submit(() ->
    {
      Thread.sleep(500);
      return "hello sync";
    });
    return future.get();
  }
}

3, Tomcat 配置：

server.port=8081
server.tomcat.max-threads=2

客户端 jmeter：开启 200 线程分别访问两个接口。获得聚合报告。

从聚合报告能够看出，二者差距巨大。 平均响应时间相差 45 倍，90% 的响应时间相差 73 倍，99% 的响应时间相差 66 倍。

同步 Servlet 只有在最初的 2 个请求中，响应时间在 500ms 左右，以后，因为线程数不够，后面的请求开始线性延时，最大响应时间为 44 秒（最后一个请求）。同时，错误率达到 11.50%。平均响应时间为 24 秒。

而异步 Servlet 则很是的稳定，错误率为 0 ，全部的请求响应时间都控制在 500ms 到 680ms 之间，平均时间为 541 ms，因为 Tomcat 线程数只有 2 个，这个结果能够接受。90% 的响应时间也是在 600 毫秒左右，属于正常水平。

Summary

异步 Servlet 发布已久，但彷佛 Java 社区使用的人仍是很少，不知为什么？但异步带来的性能提高不言而喻。在服务器线程数较少，业务耗时的场景下，异步能明显提升系统吞吐量，线程数以外的请求不会像同步请求同样被拖慢。

实际上，这和 Netty 的最佳实践是相似的，永远不要在 IO 线程上作耗时任务，原则是：耗时任务丢进业务线程池，异步操做结束从 IO 线程返回或者直接返回。

防止 IO 线程阻塞，影响后面的请求。