Tornado实现多进程/多线程的HTTP服务

用tornado web服务的基本流程

1. 实现处理请求的Handler，该类继承自tornado.web.RequestHandler，实现用于处理请求的对应方法如：get、post等。返回内容用self.write方法输出。
2. 实例化一个Application。构造函数的参数是一个Handlers列表，经过正则表达式，将请求与Handler对应起来。经过dict将Handler须要的其余对象以参数的方式传递给Handler的initialize方法。
3. 初始化一个tornado.httpserver.HTTPServer对象，构造函数的参数是上一步的Application对象。
4. 为HTTPServer对象绑定一个端口。
5. 开始IOLoop。

须要用到的特性

因为tornado的亮点是异步请求，因此这里首先想到的是将全部请求都改造为异步的。可是这里遇到一个问题，就是异步函数内必定不能有阻塞调用出现，不然整个IOLoop都会被卡住。这就要求完全地去改造服务，将全部IO或是用时较长的请求都改造为异步函数。这个工程量是很是大的，须要去修改已有的代码。所以，咱们考虑用线程池的方式去实现。当一个线程阻塞在某个请求或IO时，其余线程或IOLoop会继续执行。

另一个瓶颈就是GIL限制了CPU的并发数量，所以考虑用子进程的方式增长进程数，提升服务能力上限。

综合上面的分析，大体用如下方案：

1. 经过子进程的方式复制多个进程，使子进程中的只读页指向同一个物理页。
2. 线程池。回避异步改造的工做量，增长IO的并发量。

测试代码

首先测试线程池，测试用例为：

  对sleep页面同时发出两个请求：

1. 在线程池中运行的函数（这里是self.block_task）可以同时执行。表现为在控制台交替打印出数字。
2. 两个get请求几乎同时返回，在浏览器上显示返回的内容。

线程池的测试代码以下：

import os
import sys 
import time

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.gen
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
from tornado.options import define, options

class HasBlockTaskHandler(tornado.web.RequestHandler):
    executor = ThreadPoolExecutor(20)   #起线程池，由当前RequestHandler持有
    
    @tornado.gen.coroutine
    def get(self):
        strTime = time.strftime("%Y-%m-%d %H:%M:%S")
        print "in get before block_task %s" % strTime
        result = yield self.block_task(strTime)
        print "in get after block_task"
        self.write("%s" % (result))

    @run_on_executor
    def block_task(self, strTime):
        print "in block_task %s" % strTime
        for i in range(1, 16):
            time.sleep(1)
            print "step %d : %s" % (i, strTime)
        return "Finish %s" % strTime

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.bind(8888)
    tornado.ioloop.IOLoop.instance().start()

整个代码里有几个位置值得关注：

1. executor = ThreadPoolExecutor(20)。这是给Handler类初始化了一个线程池。其中concurrent.futures不属于tornado，是python的一个独立模块，在python3中是内置模块，python2.7须要本身安装。
2. 修饰符@run_on_executor。这个修饰符将同步函数改造为在executor（这里是线程池）上运行的异步函数，内部实现是将被修饰的函数submit到executor，返回一个Future对象。
3. 修饰符@tornado.gen.coroutine。被这个修饰符修饰的函数，是一个以同步函数方式编写的异步函数。本来经过callback方式编写的异步代码，有了这个修饰符，能够经过yield一个Future的方式来写。被修饰的函数在yield了一个Future对象后将会被挂起，Future对象的结果返回后继续执行。

运行代码后，在两个不一样浏览器上访问sleep页面，获得了想要的效果。这里有一个小插曲，就是若是在同一浏览器的两个tab上进行测试，是没法看到想要的效果。第二个get请求会被block，直到第一个get请求返回，服务端才开始处理第二个get请求。这让我一度以为多线程没有生效，用了半天时间查了不少资料，才看到是浏览器把相同的第二个请求block了，具体连接参考这里。

因为tornado很方便地支持多进程模型，多进程的使用要简单不少，在以上例子中，只须要对启动部分稍做改动便可。具体代码以下所示：

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.bind(8888)
    print tornado.ioloop.IOLoop.initialized()
    http_server.start(5)
    tornado.ioloop.IOLoop.instance().start()

须要注意的地方有两点：

1. app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)，在生成Application对象时，要将autoreload和debug两个参数至为False。也就是须要保证在fork子进程以前IOLoop是未被初始化的。这个能够经过tornado.ioloop.IOLoop.initialized()函数来跟。
2. http_server.start(5)在启动IOLoop以前经过start函数设置进程数量，若是设置为0表示每一个CPU都启动一个进程。

最后的效果是能够看到n+1个进程在运行，且公用同一个端口。